Introduction à la vision par ordinateur

Dimension: px

Commencer à balayer dès la page:

Download "Introduction à la vision par ordinateur"

Constance Marier
il y a 7 ans
Total affichages :

1 Introduction à la vision par ordinateur S. Ieng Institut des Systèmes Intelligents et Robotiques - ISIR Université Pierre et Marie Curie - Paris VI

2 Introduction La vision par ordinateur tente de fournir une modèlisation algorithmique de la vision biologique, vue de l extérieur Ce modèle est partiel. On cherche ici à répondre à des questions bien précises : Comment l image se forme? Comment extraire l information métrique de la scène observée à partir des images 2D? Quels types d outils sont mis en oeuvre?

3 Introduction Modèle géométrique simple a priori : projection par rapport à un centre (foyer) sur un plan. Soucis permanent de restaurer les informations géomètriques. Quels propriétés sont préservés durant cette transformation? Les dimensions? Les angles? Les rapports de distances?

4 Géométrie projective A travers l art et l histoire L Antiquité : La bataille d Issos La perspective mise en valeur par les directions des lances convergeant vers un point de fuite.

5 Géométrie projective A travers l art et l histoire L Antiquité : La bataille d Issos La perspective mise en valeur par les directions des lances convergeant vers un point de fuite.

6 Géométrie projective A travers l art et l histoire Perspective bwarf, tableau difficile à appréhender. Perspective riche, meilleure perception de l espace.

7 Géométrie projective A travers l art et l histoire La Renaissance : artiste dessinant une luth - Albert Durer 1525 Essor de la la géométrie projective (Desargues 1639). Usage intensif des points de fuite.

8 Géométrie projective A travers l art et l histoire Question de proportion... Relation de Thalès (source à l infini) : AB BC = A B B C. Relation de Desargues (source à distance finie) : CA/CB DA/DB

9 Géométrie projective Formalisme et notations Plan 2D projectif Le plan s identifie à R 2. Un point du plan est un couple de réels (x, y) t. Une droite définie un lieu : : ay + bx + c = 0 (a, b) t donne la direction (la normale) et c, un point par lequel elle passe.

10 Géométrie projective Représentation homogène On représente une droite par (a, b, c) t. L équation cartésienne de la droite est un produit scalaire (a, b, c).(x, y, 1) t = 0 Un point est donc aussi un triplet (x, y, 1) t. Un tel triplet constitue le notation homogène. l ensemble de ces triplets, (0, 0, 0) t exclu, forme l espace projectif P 2

11 Géométrie projective Transformation projective Une transformation projective est une application de P 2 dans P 2. Elle conserve l alignement et notamment le birapport. Sa matrice representative H est une matrice 3 3 définie à un facteur près. H est appelée homographie.

12 Géométrie projective Projection centrale X O x π0 π1 La projection centrale est une transformation projective H : x X = Hx. Elle transforme un plan en un autre plan.

13 Modèlisation de la caméra Modèle sténopé x X y O o x (a) z $\pi_1$ O f (b) fx/z z X L image se forme selon une projection centrale sur un plan perpendiculaire à l axe z, à z = f. Un point de l espace X = (X, Y, Z ) t, se projette sur ce plan en x = (x, y, f ) t = (fx/z, fy /Z, f ) t en vertus de Thalès.

14 Modèlisation de la caméra Matrice de projection En coordonnées homogènes : X fx f x fy = 0 f 0 0 Y Z Z }{{} 1 P P est la matrice de projection sur le plan focale de la caméra.

15 Modèlisation de la caméra Matrice intrinsèque Translation : On exprime x dans le repère image où o n est pas l origine. Si (o x, o y ) t sont ses coordonnées dans ce repère : X fx + Zo x f 0 o x 0 fy + Zo y = 0 f o y 0 Y Z Z f 0 o x Si on pose k = 0 f o y, alors : x im = k[i 3 0]X 0 0 1

16 Modèlisation de la caméra Matrice intrinsèque Si x s exprime en pixel dans le repère image, il faut tenir compte des facteurs d échelle pour la conversion (pixel métrique monde). La matrice intrinsèque s écrit alors : α u 0 u o k = 0 α v v o 0 0 1

17 Modèlisation de la caméra Paramètres extrinsèques X exprimé dans le repère caméra jusqu a présent. Comment la projection s exprime dans un repère R 0 arbitrairement choisi? On cherche les paramètres de passage d un repère à l autre : isométrie i.e. "Rotation" + "Translation".

18 Modèlisation de la caméra Paramètres extrinsèques Si (R, T) sont les paramètres permettant de passer du repère R 0 au repère caméra, alors : ( ) ( ) R RT X0 X cam = R(X 0 T) = Compte tenu de cete relation, la projection dans le repère image devient : x im = k[i 3 0]X cam = k[r RT]X 0 On notera M = k[r RT] qui est une matrice 3 4

19 Modèlisation de la caméra Résolution de M Comment déterminer M en pratique? La relation x im = MX 0 suppose x im et X 0 connus. M contient 12 paramètres a priori, il faut donc un nombre suffisant de correspondances (x im X 0 ). En pratique, les X 0 sont construits sous la forme d une structure connnue (mire) et les x im sont obtenus en identifiant les images des éléments de la mire.

20 Stéréovision Généralités M m1 m2 C1 C2 (R, T ) Deux caméras observant un point M de l espace, qui se projette respectivement en m 1 et m 2. Le plan formé par ces points est le plan épipolaire. Les intersections de ce plan avec les plans images forment les droites épipolaires.

21 Stéréovision Généralités M C1 e1 e2 C2 La droite reliant les deux foyers coupe chaque plan image en un point (e 1 et e 2 ). Ces points sont les épipoles. La base est la distance des deux foyers. La droite reliant ces foyers appartient à tous les plans épipolaires. Quelles propriétés peut on tirer de cette première observation?

22 Stéréovision La contrainte épipolaire Coplanarité des points m 1, m 2, C 1 et C 2 Equivalent mathématique? (C 1 m 1 ) t (C 1 C 2 C 2 m 2 ) = 0 Si m 1 1 et m2 2 sont les projetés dans les repères respectifs de chaque caméra alors la relation devient : (m 1 1 )t (T R)m 2 2 = 0 Cette relation traduit la contrainte épipolaire.

23 Stéréovision Matrice essentielle On définit t [x] comme étant la matrice représentative de l opérateur (T ) : 0 T z Ty t [x] = T z 0 T x T y T x 0 E = t [x] R est une matrice 3 3 appelée matrice essentielle [Longuet-Higgins 1981]. La contrainte épipolaire s écrit : (m 1 1 )t E(m 1 2 ) = 0

24 Stéréovision Matrice fondamentale Il est possible d établir la contrainte épipolaire directement sur les points images, exprimés dans leurs repères respectifs : (m im1 ) t F m im2 = 0 On intercale les matrices intrinsèques de chaque caméra dans la contrainte épipolaire : (k 1 1 m im1) t E(k 1 2 m im2) = 0 C est à dire F = (k 1 1 )t Ek 1 2 (expression d une même application dans 2 bases différentes).

25 Capteurs non linéaires Capteurs fovéaux

26 Capteurs non linéaires Capteurs omnidirectionnels

27 Bilan La vision (standard) par ordinateur se modélise par la géométrie projective. Le calibrage d une caméra peut se résumer à associer à chaque pixel, une direction dans l espace Toute les propriétés de la stéréovision peut se résumer dans la matrice essentielle. Si on est capable de l estimer, on retrouve l information 3D par triangulation. L estimation de E revient à cette des paramètres R et T.

28 Quelques applications Asservissement Asservissement visuel 1 Asservissement visuel 2

29 Quelques applications Navigation de véhicules autonomes robot martien robot pas martien

30 Quelques applications Surveillance, visioconférence, etc... Aide à la conduite Visioconférence Réalité virtuelle

31 Quelques applications Vision pour robot humanoïde : ICub (prototype)

32 Quelques applications Vision pour robot humanoïde : ICub (prototype avancé)

33 Pour aller plus loin... R. Hartley, A. Zissermann. Multiple View Geometry in Computer Vision. Cambridge University Press, R. Horaud, O. Monga Vision par ordinateur : outils fondamentaux Edition Hermès.

Documents pareils

Exercices - Fonctions de plusieurs variables : corrigé. Pour commencer

Exercices - Fonctions de plusieurs variables : corrigé. Pour commencer Pour commencer Exercice 1 - Ensembles de définition - Première année - 1. Le logarithme est défini si x + y > 0. On trouve donc le demi-plan supérieur délimité par la droite d équation x + y = 0.. 1 xy