1 Transformations élémentaires 2

Transcription

1 Géométrie Contenu Transformations élémentaires 2 2 Les projections 4 2. Les projections parallèles Les projections perspectives Points de fuite La géométrie d une image ou la formation d images 0 3. Projection : le modèle à sténopé Capteurs CCD Transformation globale Un modèle de caméra Applications Projection de plans La géométrie de deu images 9 4. La contrainte épipolaire La matrice fondamentale La matrice essentielle Reconstruction Les différents tpes de reconstruction Estimer la géométrie des caméras 25 UFR IMA

2 Dans cette partie, nous allons aborder les problèmes géométriques en vision par ordinateur, en particulier les mécanismes de visualisation de scènes 3D ainsi que ceu de la formation d une image. Coordonnées homogènes Nous nous plaçons dans l espace projectif P 3. Un point P de P 3 est représenté par un vecteur 4 de coordonnées [,,, w], dont une au moins est non nulle.,, et w sont les coordonnées homogènes de P. coordonnées homogènes d un plan : (a, b, c, d), dualité point-plan, les points à l infini : (,,, 0) définissent le plan à l infini Transformations élémentaires Translations : T = 0 0 T 0 0 T 0 0 T Rotations : Représentation par les angles d Euler : avec : R = R R R, UFR IMA 2

3 R = cos ψ sin ψ 0 0 sin ψ cos ψ ψ R = cos φ 0 sin φ sin φ 0 cosφ φ R = cos θ sin θ 0 0 sin θ cos θ θ Propriétés des matrices de rotation : det R =, R = R t. groupe des rotations non commutatif. Changements d échelles : T = s s s UFR IMA 3

4 2 Les projections Utilité : Visualisation 3D (snthèse). Modélisation des caméras (vision). Deu familles de projections :. Projections parallèles. 2. Projections perspectives. A a b A B a b B Projection parallèle Projection perspective 2. Les projections parallèles La projection se fait dans le plan de projection suivant une direction. Il eiste deu tpes de projections parallèles dépendant du fait que la direction de projection soit perpendiculaire au plan de projection :. Projections orthographiques (perpendiculaires). 2. Projections obliques (peu utilisées en analse et snthèse d images). UFR IMA 4

5 Les projections orthographiques Le point P se projette au point p suivant la direction d observation k. point image p X P point objet k plan de projection Soit X et les vecteurs positions de P et p alors : = X (X.k)k. On choisit k = (0, 0, ) et on place le plan de projection en = 0. Alors la projection orthographique s écrit sous la forme matricielle suivante, et à l aide des coordonnées homogènes : = X UFR IMA 5

6 2.2 Les projections perspectives, P centre de projection p C distance focale f La projection se fait suivant un centre de projection. On place l origine du repère au centre de projection et on l oriente de sorte que le plan de projection ait pour équation = f où f est la distance focale. Soient X P, Y P, Z P les coordonnées cartésiennes du point P et p, p, p celle du point image p. On a alors les relations : X p = P f P, Y p = P f P, Z p = f. d où l équation matricielle : = /f 0 X où, X sont les vecteurs de coordonnées homogènes de p et P. Autre représentation, le plan de projection est à = 0 et le centre de projection à = f : = X 0 0 /f Eemple de projection : un cercle Soit un cercle dans l espace de raon r, situé dans un plan parallèle au plan de projection à une distance Z de ce dernier. UFR IMA 6

7 . On suppose que le cercle est centré en (0, 0), montrer que sa projection est un cercle de raon fr/(z + f). 2. On déplace le cercle une direction du plan de projection, que devient sa projection? 3. si le plan du cercle n est pas parallèle au plan de projection? 2.3 Points de fuite Les droites parallèles qui ne sont pas dans une direction du plan de projection définissent un point de fuite. Les projections de ces droites s intersectent en effet dans le plan de projection, cette intersection étant le point de fuite. d point de fuite d d centre de projection Chaque paire de droites parallèles définit un point de fuite différent. Pour un ensemble de droites appartenant à un plan, les points de fuite parcourent une droite appelée ligne d horion. De manière similaire, deu plans parallèles définissent une ligne d horion correspondant à la projection de l intersection de ces deu plans. Les points à l infini correspondent à des directions dans l espace (cf. cours précédent). Eercices : UFR IMA 7

8 ligne d horion. Détermine la position image du point de fuite associée à une droite de l espace? 2. Dans quel cas le point de fuite est rejeté à l infini? 3. Détermine l équation de la ligne d horion associée à un groupe de plans parallèles. 4. Dans quel cas la ligne d horion est rejetée à l infini? UFR IMA 8

9 point de fuite Figure : Projection à un point de fuite. point de fuite point de fuite Figure 2: Projection à deu points de fuite. point de fuite Figure 3: Projection à trois points de fuite. UFR IMA 9

10 3 La géométrie d une image ou la formation d images On se place dans le cas d images réelles, prises avec un appareil numérique (CCD), et on cherche à modéliser la transformation scène <-> image. Celle-ci est composée de différentes transformations : projection, déplacement rigide, changement d échelles. et peut donc être représentée sous forme matricielle. UFR IMA 0

11 3. Projection : le modèle à sténopé projections parallèles? perspectives? Le modèle de caméra le plus utilisé, modèle à sténopé (pinhole) : point de la scène centre optique point image point image réel plan rétinien réel distance focale f plan rétinien ae optique La matrice de projection correspondante : P = /f 0 qui représente donc la matrice de transformation du repère de la scène vers le repère de la rétine. UFR IMA

12 3.2 Capteurs CCD Pour modéliser les capteurs CCD, on définit les coordonnées piels (u, v). (0,0) u grille du capteur CCD v (u0,v0) ae optique plan rétinien Transformation du repère de la rétine vers le repère image : où : wu wv w w = k u 0 0 u 0 0 k v 0 v k u et k v sont les facteurs d échelles en piels/mm. /ku mm /kv mm Piel 2. (u 0, v 0 ) sont les coordonnées en piels de l intersection de l ae optique avec le plan rétinien. UFR IMA 2

13 3.3 Transformation globale Rs ae optique R i u v R r Rc distance focale La transformation du repère de la scène vers le repère image s écrit : wu k u 0 0 u wv wf = 0 k v 0 v R T w /f En pratique, on utilise l epression suivante dans laquelle la troisième coordonnée du point image n apparait plus (cette coordonnée est constante) : wu k u 0 u R T wv = 0 k v v w /f wu wv w = i rc rc P cs T UFR IMA 3

14 soit encore : wu wv w = k u f 0 u 0 0 k v f v wu wv w = i r C cs T R T Paramètres intrinsèques et etrinsèques de la caméra. Une caméra est définie par 0 paramètres dans le cas où les piels sont carrés, dans le cas général. wu wv w = k u f α u 0 0 k v f v R T Une matrice projective 34 correspond à degrés de liberté. wu m m 2 m 3 m 4 wv = m 2 m 22 m 23 m 24 w m 3 m 32 m 33 m Un modèle de caméra Une caméra est généralement modélisée sous la forme projective suivante : wu k u c u R T wv = 0 k v v w /f où : wu wv w = k u f c u 0 0 k v f v R T, UFR IMA 4

15 k u et k v sont les facteurs d échelles en piels/mm, f est la distance focale. On note en général : f k u = α u et f k v = α v, (u 0, v 0 ) sont les coordonnées en piels de l intersection de l ae optique avec le plan rétinien, c est un coefficient qui est nul lorsque les aes de l images sont orthogonau. Ces paramètres sont dits intrinsèques à la caméra. Rs ae optique R i u v R r Rc distance focale Soit M la matrice de projection perspective dans une image. Si l on note K la matrice des paramètres intrinsèques alors : α u c u 0 M = 0 α v v 0 R T = K R T, 0 0 M = (K R K T ). M a one degrés de liberté, il faut donc si correspondances entre points de la scène et points images pour déterminer cette matrice. UFR IMA 5

16 On note par la suite M la matrice 33 M = K R et m le vecteur 3 m = K T. Soit M = (M m). Soit C = ( c c c ) t le vecteur de coordonnées du centre de projection de la caméra dans le repère de la scène, alors : 3.5 Applications 3.5. Projection de plans C = M m. Nous allons illustrer le principe des projections dans le cas de points coplanaires. C est à dire lorsque l on observe des points appartenant à un même plan. R s Le cas perspectif Nous supposons, sans perte de généralité, que les points appartiennent au plan d équations = 0 dans la scène. Nous pouvons réecrire l équation de projection sous la forme : wu wv w = k u 0 u 0 0 k v v /f R R 2 T R 2 R 22 T R 3 R 32 T 0 0 soit : wu wv w = m m 2 m 3 m 2 m 22 m 23 m 3 m 32 m 33 UFR IMA 6

17 La transformation entre (wu, wv, w) et (,, ) est une projectivité plan à plan, on parle d homographie. Eercice :. Que peut-on en déduire sur la transformation eistant entre 2 projections perspectives d une image? 2. Dans le cas d une projection orthographique que devient cette transformation? Le cas orthographique Nous allons tout d abord établir l équation de projection dans le cas orthographique. Reprenons l équation de projection précédemment établie, dans le cas orthographique cette équation peut s écrire (le plan de projection étant en = 0 dans le repère de la caméra) : wu wv w = k u 0 u 0 0 k v v /f R T si l on fait tendre f vers l infini : wu wv w = k u 0 u 0 0 k v v R T Maintenant si nous supposons que les points observés appartiennent au plan d équations = 0 alors l équation de projection devient : wu wv w = k u 0 u 0 0 k v v R R 2 T R 2 R 22 T R 3 R 32 T 0 0 soit : wu wv w = m m 2 m 3 m 2 m 22 m m 33 Dans le cas d une projection orthographique, la transformation entre 2 projections d une image est une transformation affine. UFR IMA 7

18 Application dans le cas de teture mapping. Eercice : Traite le cas de points appartenant à une droite. UFR IMA 8

19 4 La géométrie de deu images Considérons deu images provenant de deu caméras perspectives observant la même scène. Soient M et M 2 les matrices de projections correspondant à ces deu images. Un point P de la scène se projette en p = M P et p 2 = M 2 P. Nous allons nous intéresser ici au liens qui eistent entre p et p 2. Ces liens sont caractérisés par la géométrie épipolaire qui découle de la contrainte épipolaire. P p p? 2 p d 2 (a) (b) Figure 4: La géométrie épipolaire caractérise le fait que les correspondants potentiels dans l image 2 d un point p de l image sont situés sur une droite d 2 appelée droite épipolaire. 4. La contrainte épipolaire La contrainte épipolaire caractérise le fait le correspondant p 2 d un point p (i.e., p et p 2 sont les projections images du même point P ) se situe sur une droite dans l image 2 : l p. En effet, le point p 2 appartient nécessairement au plan défini par p, C et C 2. La droite l p est appelée droite épipolaire du point p dans l image 2. La contrainte épipolaire est smétrique. Les droites épipolaires dans une image s intersectent toutes en un point appelé épipole. Ce point correspond à la projection du centre de projection de l autre image considérée : e = M C 2, e 2 = M 2 C. les épipoles jouent un rôle fondamental dans la vision stéréoscopique. UFR IMA 9

20 R plan épipolaire P d C p e lp 2 e2 R 2 p C 2 2 lp 4.2 La matrice fondamentale Figure 5: La contrainte épipolaire. Nous allons eprimer ici, sous une forme algébrique, la contrainte épipolaire. Soit d la direction de la ligne de vue de p. Alors si P et C sont eprimés en coordonnées homogènes : ( ) d P = C + λ, 0 où λ est la profondeur du point P dans l image et (d 0) t correspond au point à l infini de la ligne de vue de p. En projetant P : p = M P = (M m ) P, Soit : p = M d. d = M p, Tous les points de la ligne de vue de p se projette sur la droite épipolaire l p de p dans l image 2, en particulier le point à l infini (d 0) t. La droite épipolaire l p passe donc par l épipole e 2 et la projection dans l image 2 de (d 0) t, soit en coordonnées homogènes : l p = e 2 M 2 ( d 0 ), et : l p = e 2 (M 2 M p ) UFR IMA 20

21 e 2 étant la projection de C dans l image 2 : et : l p = (M 2 C ) (M 2 M p ), l p = (M 2 M m ) (M 2 M p ). La relation précédente est linéaire et peut s écrire sous la forme : l p = F p, ou F est une matrice 33. Cette matrice est appelée matrice fondamentale. La contrainte épipolaire s écrit donc : p t 2 F p = 0. La matrice F est de rang deu. En effet : F e = 0. La matrice F t joue le rôle smétrique de F dans l image, c est à dire que pour tout point p 2 de l image 2 le point correspondant de l image appartient à la droite de coordonnées homogènes l p2 : l p2 = F t p 2. La matrice fondamentale caractérise toute la géométrie entre deu images hors paramètres intrinsèques. La matrice fondamentale peut être estimée à partir d au moins huit correspondances de points entre l image et l image La matrice essentielle Lorsque les paramètres intrinsèques des caméras sont connus, il est possible d eprimer la contrainte épipolaire dans les repères rétiniens. C est à dire, pour un point image p de l image, d eprimer la contrainte correspondant à : = K p, où K est la matrice des paramètres intrinsèques de l image. Par simple analogie avec ce qui a été vu précédemment, la contrainte épipolaire devient : t 2 Kt 2 F K = 0, UFR IMA 2

22 soit : avec : t 2 E = 0. E = K t 2 F K. La matrice E de l epression précédente est appelée matrice essentielle.cette matrice dépend uniquement du déplacement entre les deu positions des caméras. En effet, posons : M = K (I 0), M 2 = K 2 (R T ), où R et T sont respectivement la rotation et la translation entre les deu positions de la caméra. La contrainte de coplanarité s écrit alors : p t 2 K t 2 (T R K p ), P C p e p 2 C 2 (R,T) Soit : t 2 (T R ). La translation T est ici définie à un facteur d échelle prés. La matrice essentielle est de rang deu, de plus les deu valeurs propres non nulles de E ont même valeurs. La matrice essentielle peut être estimée, théoriquement, à partir de cinq correspondances. Les épipoles ont pour coordonnées homogènes dans le plan rétinien : K e = R t T, K 2 e 2 = T. UFR IMA 22

23 5 Reconstruction La reconstruction consiste à déterminer les positions dans l espace des primitives de la scène à partir des images de cette dernière. Nous allons nous intéresser ici au reconstructions à partir de deu images. Soit P un point de la scène se projetant en p et p 2. Reconstruire P consiste à déterminer sa position dans l espace, soit à déterminer l intersection des lignes de vues en p et p 2 (triangulation). Soient M et M 2 les deu matrices de projections des images et 2. Alors : p = M P, p 2 = M 2 P. Connaissant M et M 2 la résolution des deu équations précédentes donne la position de P. Par contre, si M et M 2 ne sont pas connus, le point P ne constitue pas la seule solution, en effet, soit H une homographie de P 3 alors : p = M H H P, p 2 = M 2 H H P. Le point H P est donc aussi solution des équations de projections. La reconstruction de la scène s effectue donc à la transformation H prés. Cette transformation étant fonction des informations dont on dispose sur la scène. Un aspect fondamental de la reconstruction est que pour un point p de l image, il faut avant tout déterminer le point p 2 correspondant dans l image 2. Ce problème d appariement est primordial en vision par ordinateur. 5. Les différents tpes de reconstruction Soient M et M 2 les matrices de projection des images et 2 et M et M2 les matrices estimées. Soit H la transformation telle que : Reconstructions Euclidiennes M = M H, M 2 = M 2 H. Considérons tout d abord une scène dans laquelle des points de référence sont connus. Si les positions d au moins si points de références sont connues, il est alors possible de déterminer pour chaque image les matrices : M = K (R T ), M2 = K 2 (R 2 T 2 ), par simple résolution des équations de projections au points de référence. La reconstruction s effectuera donc ici dans le repère où sont eprimés les points de UFR IMA 23

24 référence. H est donc ici une transformation Euclidienne. Supposons maintenant qu aucun point de référence n est connu dans la scène mais que par contre les paramètres intrinsèques des caméras sont eu connus (K et K 2 ). Il est alors possible de déterminer le déplacement entre des deu images à partir de correspondances de points. Par eemple :. Mise en correspondance de points, 2. Calcul de la matrice fondamentale, 3. Calcul de la matrice essentielle et du déplacement (R, T ) entre les images et 2. On obtient alors les deu matrices de projection estimées suivantes : M = K (I 0), M2 = K 2 (R λt ), où : λ est un réel strictement positif. Ces deu matrices permettent donc d effectuer une reconstruction de la scène à un facteur prés. En effet, les points solutions des équations de projections sont de la forme : P = ( /λ), où λ est un réel strictement positif. Donc H est ici une similitude. Reconstructions affines Les paramètres intrinsèques des caméras ne sont pas connus, par contre l homographie du plan à l infini H entre les deu points vue est connue. Soient M = K (I 0) et M 2 = K 2 (R T ) les matrices de projection des images et 2. L homographie du plan à l infini caractérise la transformation dans l espace projectif, des directions de l espace : H = K 2 R K. Cette homographie peut être déterminée à partir de correspondances de points de fuites par eemple. : Lorsque H est connue, on peut alors définir les deu matrices de projections M = (I 0), M2 = (H e 2 ), et effectuer une reconstruction à partir de ces matrices. La transformation H est donc ici une affinité : ( ) K 0 H = 0 UFR IMA 24

25 Reconstructions projectives C est le cas le plus général, aucune information a priori sur la scène n est connue. La forme générale des matrices de projections est : M = (I 0), M2 = (H i ce 2 ), où H i est l homographie d un plan de la scène ne contenant pas les centres de projection, et c un scalaire. Le passage d une reconstruction projective à une reconstruction affine puis Euclidienne se fait à l aide des relations : ( ) ( ) K 0 K 0 M = (I 0) = (K 0) = (K 0 0) a t c ( ) K 0 M 2 = (H i ce 2 ) = (K 2 R K 2 T ) a t c soit : M = M M 2 = M 2 ( K 0 0 ( K 0 0 ) ( I 0 a t c ) ( I 0 a t c ) ) Donc la transformation H s écrit : ( ) K H = 0 /c (K t a)t /c 6 Estimer la géométrie des caméras Nous passons brièvement en revue les principau moens d estimer la géométrie des caméras. Le moen le plus simple, le calibrage, consiste à utiliser un objet dont la géométrie est connue. A partir d une seule image de cet objet, la géométrie complète de la caméra peut alors être estimée : sa géométrie interne et son positionnement relatif par rapport à l objet. Si la modélisation de la scène est effectuée à l aide de plusieurs caméras statiques, la géométrie complète de ce sstème peut être estimée de la même manière en plaçant un objet connu dans le champ de vue commun des caméras. Des logiciels du domaine public permettent, en particulier, de calibrer à l aide d une grille (voir la figure ). Les caméras peuvent donc être UFR IMA 25

26 Figure 6: Un objet de calibrage très largement utilisé : le damier. Les sommets constituent en effet des primitives qui sont facilement détectables dans les images, et dont les positions dans la scène sont connues. calibrées et leurs positions relatives peuvent être déduites des positions relatives à l objet de calibrage. Ce scénario n est pas toujours applicable, en particulier si, au cours de l acquisition d images, les caméras se déplacent, ou si le oom ou la mise au point sont modifiés (et, par voie de conséquence, la géométrie interne), ou bien si l on souhaite éviter le processus de calibrage pour des raisons de temps ou d équipement. Dans ce cas, les outils de la géométrie multi-images doivent être mis en œuvre. En effet, comme nous l avons vu dans la partie précédente, des correspondances entre images, peuvent permettre d estimer la géométrie des caméras, même si la structure de la scène n est pas connue. Dans le cas le plus général, les géométries interne et eterne des caméras doivent être estimées à partir de ces correspondances. On parle alors d auto-calibrage. Il a été prouvé, au début des années 90, que l auto-calibrage était effectivement possible. Plusieurs approches ont été proposées depuis. La mise en œuvre pratique de l auto-calibrage reste néanmoins une opération délicate. Une solution intermédiaire consiste à pré-calibrer les caractéristiques intrinsèques des caméras (la géométrie interne) que l on suppose fies, et à déterminer ensuite la géométrie eterne uniquement. Dans ce cas, un auto-calibrage complet n est pas nécessaire, la géométrie interne des caméras étant connue. On parle alors d estimation du mouvement. Il s agit d un problème plus simple, mais qui interdit l usage du oom (car il modifie la géométrie interne) et qui requiert toujours une étape préliminaire de calibrage. Le choi de l approche pour l estimation de la géométrie des caméras, dépend du contete de l application envisagée et des contraintes qui en découlent : temps, précision, nombre de caméras, etc. Le tableau UFR IMA 26

27 récapitule les principales opérations géométriques eistantes, et ce qui doit être connu et ce qui est déterminé pour chaque opération. Opération Géométrie de Géométrie eterne Géométrie interne la scène des caméras des caméras Calibrage connue déterminée déterminée Calcul de connue déterminée connue pose Triangulation déterminée connue connue Estimation inconnue déterminée connue du mouvement Reconstruction déterminée inconnue inconnue nonmétrique Autocalibrage inconnue inconnue déterminée Table : Les différentes opérations géométriques et les contetes correspondants. UFR IMA 27