pour la Réalité Augmentée

Transcription

1 Analyse d Image 3D pour la Réalité Augmentée Jean-Marc Vezien vezien@limsi.fr Master Recherche RV&A Janvier 2011

2 La 3D comment? Les capteurs et les techniques pour l acquisition de la 3D

3 Capteurs actifs

4 Les capteurs actifs génèrent un signal pour analyser l environnement, utilisation de lumière: structurée géométriquement ou utilisation d une onde cohérente (laser). influencent l environnement: domaines d application limités

5 Capteurs actifs non optiques De nombreux capteurs utilisent des ondes pour déterminer la profondeur: Echographie (son), Radiographie, tomographie, scanner (rayons X), Résonance Magnétique nucléaire (rayonnement alpha), etc. Très chers, très spécialisés (médical)

6 LIDAR Principe du radar: 2T Onde: laser infra-rouge de faible puissance modulé en amplitude. 1m f 300 Mhz Balayage par miroir oscillant

7 LIDAR (suite) Ex.: LADAR par Perceptron Inc. diode laser à 835 nm puissance 50 mw Distance: de 3 à 100 m. Angle de vue réglable: - horizontal: de 15 à 60 - vertical: de 3 à 72 Résolution: 1000 x 2000 pixels

8 LIDAR (suite) Principaux problèmes: Tête d acquisition encombrante, miroir fragile. laser de classe 3B + invisible = dangereux! Nécessite un contrôle environnemental (contraste, types de surfaces...). Problème d échos multiples de 2*

9 LIDAR (suite)

10 Principe: Capteurs à triangulation Caméra Surface Illuminant

11 Capteurs à triangulation Plusieurs méthode d illumination: lumière «naturelle»: utilisation de différents «motifs» d illumination lumière cohérente: nappe laser créée par un miroir cylindrique.

12 Capteurs à triangulation: lumière structurée

13 Capteurs à triangulation: Cyberware Nappe laser Full body scanner (1998)

14 Capteurs à triangulation: problèmes Temps d acquisition: quelques secondes (pas de mouvements!) Environnement contrôlé: faible lumière ambiante, surfaces non réfléchissantes (métaux), pas de bleu (laser). Distance: quelques cms à quelques mètres. Laser: coût (100 k )

15 Capteurs à triangulation: problèmes Lorsque l écart émetteur/récepteur grandit: plus grande précision probabilité d occultation grandissante: émetteur récepteur Compromis difficile!

16 Capteurs à triangulation: résultats

17 Capteurs à triangulation: résultats Intégration de multiples scans: plusieurs millions de polygones!

18 Effet de Moiré Caméra Source lumineuse grille 1 grille 2 frange sombre franges claires

19 Effet de Moiré Problèmes: faible profondeur de champ environnement contrôlé analyse d image sophistiquée: pas de temps réel. ambiguïtés possibles: pas de valeur absolue de Z.

20 Effet de Moiré: résultats Analyse de posture

21 Capteurs passifs

22 Les capteurs passifs Reçoivent la lumière naturelle, sans intervention sur l environnement: Ex: Capteur CCD ou CMOS Utilisation de nombreuses techniques pour interpréter la carte d intensité lumineuse.

23 Les capteurs passifs (shape from X) X = indice servant de base à l analyse de l image X = mouvement X = shading = ombrage X = illumination X = texture X =..., combinaison des précédents.

24 intrinsèques extrinsèques Les capteurs passifs (shape from X) L aspect d un objet sur une image est fonction: de sa géométrie (forme, rugosité) de sa photométrie: couleur, texture... de l illumination ambiante (sources de lumières) de la position de la caméra par rapport à l objet. Utiliser les contraintes externes pour calculer les propriétés intrinsèques.

25 Utilisation du mouvement relatif Mise en correspondance d indices: points, segments, régions, dans deux images. Mouvement de caméra connu reconstruction de (X, Y, Z).

26 Stéréovision Redondance de données: permet la génération de cartes 3D denses et complexe.

27 Stéréovision Nombreux avantages: Mise en œuvre plutôt simple, devenue accessible. Algorithmes performants. Relativement insensible aux conditions d utilisation Obtention de cartes 3D denses Possibilités de temps réel (GPU, FPGA)

28 Stéréovision Limitations, contraintes: Nécessite de pouvoir mettre en correspondance des primitives (points, segments, régions) Nécessite de calibrer une paire de caméras ou d acheter du matériel spécial Génère une description 3d peu structurée

29 Utilisation de l ombrage (shading) On peut déterminer l orientation d une surface à partir d une seule image, avec des hypothèses: sur sa nature (homogénéité, type de surface) sur l illumination (Ex: source ponctuelle à l infini) Approche appliquée dès le début du siècle pour l analyse des surfaces planétaires.

30 Utilisation de l ombrage (shading): résultats. INRIAlpes, 2006

31 Utilisation de l ombrage (shading) Limitations nombreuses: Une seule surface homogène Grande sensibilité aux conditions d éclairement Orientation seulement Technique bien adaptée à l observation d altitude, satellitaire et planétaire

32 Utilisation de l illumination Idée: l aspect d un objet est fonction de sa photométrie, qui varie beaucoup avec l éclairement: Revêtement absorbant Caméra Sources lumineuses

33 Illumination (suite) Hypothèses: la surface de l objet est continue (Z=f(x,y)), et d un matériau uniforme. Chaque lumière fournit une contrainte I(x,y) par point de la surface Z=f(x,y). Suffisamment de contraintes = résolution du système. Ex: surface Lambertienne. minimiser orientation lumière i 0 < A < 1 = facteur de reflexion i n M orientation surface E I Acos( ) i 1 i i n I i 2 = image i

34 Utilisation de l illumination: résultats Georghiades (2001)

35 Utilisation de l illumination (suite) Problèmes: Trop d hypothèses simplificatrices Environnement très contraignant Résultat peu précis, surtout qualitatif.

36 Utilisation de la texture Hypothèse: on observe une surface avec des motifs réguliers. Déformation des motifs = f(z)

37 Utilisation de la texture Deux étapes: Analyse de l image: calcul d une transformée capturant cette déformation. Ex: transformée de Fourier, moments 2d, etc. Utilisation d hypothèses (ex: régularité) pour obtenir une carte de profondeur. Possibilité de combiner avec la stéréo: déformation de texture.

38 Shape from texture: résultats B. Super and A. Bovik. (1995)

39 Utilisation de la texture Limitations: Une seule surface, présence d une texture, texture homogène. Sensible aux conditions d illumination. Utilisée dans des circonstances très limitées.

40 Reconstruction implicite par interpolation Il n est pas nécessaire de reconstruire la 3D pour toutes les applications (ex: audiovisuel). Comment générer des images «intermédiaires» entre 2 vues? = estimation du déplacement équivalent dans l image «virtuelle». Connaissant P 1 (x,y) et P 2 (x,y), peuton prédire P 3 (x,y), si on connaît la position de Cam 3 par rapport à Cam 1 et Cam 2?

41 Reconstruction implicite par interpolation

42 Reconstruction implicite par interpolation Ex: pour une facette plane 3D, les projections sont reliées par une homographie: P p G p D p D H p G avec H = et p = x y 1 Estimation de H: utilisation des déplacements et des formes des deux régions appariées.

43 Interpolation 3D: exemple miroir carte des régions Carte des déplacements

44 L acquisition 2D «augmentée»: illustration