Introduction à la Vision 3D

Dimension: px

Commencer à balayer dès la page:

Download "Introduction à la Vision 3D"

Jean-Marie Aubin
il y a 8 ans
Total affichages :

1 à la Vision 3D David Fofi Le2i UMR CNRS 6306 IUT Le Creusot Les applications présentées sont le fruit d une collaboration entre le Le2i et le laboratoire VICOROB de l Université de Gérone (Espagne).

2 Les systèmes d acquisition 3D projecteur-caméra d acquisition 3D Capteurs actifs temps de vol Shape from polarization Structure from motion Capteurs passifs Shape from focus Shape from texture Shape from shadow

from polarization Structure from motion Capteurs

3 La perception visuelle La perception de la profondeur repose sur dix indicateurs : 4 indicateurs physiologiques 6 indicateurs psychologiques Accommodation : ajustement de la longueur focale du cristallin indice mineur

physiologiques 6 indicateurs psychologiques

4 La perception visuelle La perception de la profondeur repose sur dix indicateurs : 4 indicateurs physiologiques 6 indicateurs psychologiques Convergence : angle entre l axe de visée de chaque œil indice mineur

5 La perception visuelle La perception de la profondeur repose sur dix indicateurs : 4 indicateurs physiologiques 6 indicateurs psychologiques Disparité : différence entre deux images d un même objet indice majeur

6 La perception visuelle La perception de la profondeur repose sur dix indicateurs : 4 indicateurs physiologiques 6 indicateurs psychologiques Parallaxe du mouvement : les objets éloignés paraissent se mouvoir lentement par rapport aux objets rapprochés

indicateurs psychologiques Parallaxe du mouvement : les objets

7 La perception visuelle La perception de la profondeur repose sur dix indicateurs : 4 indicateurs physiologiques 6 indicateurs psychologiques Taille de l image rétinienne : plus l image est grande plus l objet semble proche

physiologiques 6 indicateurs psychologiques Taille de l

8 La perception visuelle La perception de la profondeur repose sur dix indicateurs : 4 indicateurs physiologiques 6 indicateurs psychologiques Perspective linéaire : réduction progressive de la taille de l'image à mesure que la distance de l'objet augmente

indicateurs psychologiques Perspective linéaire : réduction

9 La perception visuelle La perception de la profondeur repose sur dix indicateurs : 4 indicateurs physiologiques 6 indicateurs psychologiques Perspective de surface : flou que les objets acquièrent avec la distance

10 La perception visuelle La perception de la profondeur repose sur dix indicateurs : 4 indicateurs physiologiques 6 indicateurs psychologiques Recouvrement : effet produit lorsque des contours continus semblent plus près de l'observateur

6 indicateurs psychologiques Recouvrement : effet produit

11 La perception visuelle La perception de la profondeur repose sur dix indicateurs : 4 indicateurs physiologiques 6 indicateurs psychologiques Nuances et ombres : impression de convexité ou de concavité provoquée par l éclairage

physiologiques 6 indicateurs psychologiques Nuances et

12 La perception visuelle La perception de la profondeur repose sur dix indicateurs : 4 indicateurs physiologiques 6 indicateurs psychologiques Gradient de texture : type de perspective linéaire qui correspond au degré de rugosité d'un objet uniforme à mesure qu'il s'éloigne

psychologiques Gradient de texture : type de perspective linéaire

13 Et la vision artificielle? Changement de mise au point vues multiples Lumière structurée Ombres

14 Le modèle sténopé Rétine Point focal

15 Principe de la stéréovision { I} O I Y I X R X I { R} Y R { I '} O I ' Y I ' X I ' Y R' X C Y C ZC O R X { R '} R' O R' O { C} C Repère Caméra X C ' Y C ' { C '} O C ' Z C ' Repère caméra

16 La mise en correspondance Objectif : associés les points des deux images qui correspondent au même point physique.?

17 La mise en correspondance La mise en correspondance peut être facilitée par l utilisation d indices visuelles (ici : la couleur).

18 La mise en correspondance Une mauvaise mise en correspondance conduit à une mesure erronée!!!! Caméra 1 Caméra 2 Vue de dessus

19 La mise en correspondance Les difficultés sont nombreuses : zones d occultation, zones de contraction, zones homogènes.

20 La mise en correspondance Les difficultés sont nombreuses : zones d occultation, zones de contraction, zones homogènes.

21 La mise en correspondance Les difficultés sont nombreuses : zones d occultation, zones de contraction, zones homogènes.?

22 La mise en correspondance Une contrainte pour simplifier la mise en correspondance : la contrainte épipolaire.

23 Le calibrage Calibrer, c est évaluer la transformation qui permet de passer des données de l image (en pixels) aux données réelles (en mètres). Z w (X, Y, Z) en mètres (u, v) en pixels O w Y w X w

24 = = Z Y X a a a a a a a a a a a Z Y X t r r r t r r r t r r r v u s v u z y x v u α α Point image (pixels) Point 3D (mètres) Position et orientation de la caméra Caractéristiques optiques de la caméra Le calibrage

25 Performances Résolution : égale au mieux à la résolution de l image (si la mise en correspondance est parfaitement dense! -> très difficile à obtenir) Précision : dépend de la méthode de calibrage utilisée : Référence : J. Salvi, X. Armangué, J. Batlle, A comparative review of camera calibrating methods with accuray evaluation, Pattern Recognition, 35, pp , 2002.

26 Principe L une des caméras est remplacée par une source LASER. La source laser peut projeter un point de surbrillance (faisceau laser) ou un trait lumineux sur la surface des objets (plan laser). Pour balayer la surface de l objet : rotation de la source laser ou translation de l ensemble caméra-laser.

27 Modélisation Point image (pixels) Point 3D (mètres) Position et orientation du plan laser dans l espace Transformation 2D/ 3D Transformation plan image/ plan laser

28 Détection de pics Quand on projette un faisceau laser, pas de problème de mise en correspondance (il suffit de détecter la position du point rouge dans l image!!! -> on s aide souvent d un filtre que l on place devant l objectif de la caméra). Quand on projette un trait laser, pas de problème non plus : il suffit de détecter la courbe rouge dans l image.

29 Le calibrage Comme pour un système stéréoscopique, il s agit d associer des points 2D et des points 3D pour estimer la matrice de transformation. Difficulté : connaître les coordonnées 3D des points illuminés par le laser!! Une méthode : le quadrangle complet Référence : J. Forest, New methods for triangulation-based shape acquisition using laser scanners, Thèse de doctorat, Université de Gérone, Espagne, mai 2004.

30 Performances Résolution : dépend du pas de balayage du laser et de la résolution de la caméra (utilisation possible d algorithmes de détection sous-pixel). Précision :

31 Exemple Caméra et filtres RVB Laser en rotation

32 Exemple

33 Principe Cette fois, l une des caméras est remplacée par un vidéo- (ou retro-) projecteur. Un motif connu et régulier est projeté sur la surface des objets : lumière structurée.

34 Principe Pour faciliter la mise en correspondance, le motif projeté est codé (par la forme et/ou la couleur), de manière à pouvoir le reconnaître facilement dans l image

35 Exemple

36 Différents codages (a) (b) (c)

37 Performances Résolution : dépend du motif projeté. Précision : en général moins bonne pour celle des scanners à laser, mais meilleure que par stéréovision Pour la calibration, le projecteur est considéré comme une caméra «inversée» :

38 Codage temporel spatial direct Exemples

39 Exemples

40 & Robotique mobile vue interne Pioneer 2 vue externe GRILL, le robot mobile

41 & Robotique mobile

42 Scanner Laser & Recalage 3D

43 Scanner Laser & Recalage 3D

44 Faible densité de points (reconstruction dense possible mais complexe et gourmande en temps de calcul), faible résolution Problème de la mise en correspondance et des traitements associés à la robotique mobile, à la cartographie Reconstruction dense, haute résolution, grande précision Balayage laser mécanique : temps d acquisition plus long qu en stéréovision. Capteur intrusif à la modélisation et à la mesure 3D Bon compromis entre les deux précédents capteurs Densité de points plus haute en général qu en stéréovision, précision plus faible en général que les scanners laser

Documents pareils

Reconnaissance de visages 2.5D par fusion des indices de texture et de profondeur ICI 12/12/12

Reconnaissance de visages 2.5D par fusion des indices de texture et de profondeur ICI 12/12/12 2 Discrimination Invariance Expressions faciales Age Pose Eclairage 11/12/2012 3 Personne Inconnue Identité