IMN459 - Fondements de la vision par ordinateur

Transcription

1 IMN459 - Fondements de la vision par ordinateur Chapitre 2 Formation d images et paramètres des caméras

2 Cas de la vision stéréoscopique Calibrage de la caméra Images formation, paramètres de la caméra Outils multi-usage Géométrie projective Stéréovision Bases et rectification de la paire stéréoscopique Extraction Disparité binoculaire par la mise en correspondance Estimation de la profondeur IMN459 Fondements de la vision par ordinateur 2

3 Plan du chapitre 1. Rappels de formation d image 1.1. Repères à considérer 2. Paramètres de la caméra IMN459 Fondements de la vision par ordinateur 3

4 Plan du chapitre 1. Rappels de formation d image 1.1. Repères à considérer a) Repère de la scène (du monde) b) Repère de la caméra c) Repère de l'image d) Repère pixels 2. Paramètres de la caméra IMN459 Fondements de la vision par ordinateur 4

5 Configuration du système de formation optique Lentille Plan image Point de la scène Point de l image Axe optique Centre optique z distance séparant le centre optique du plan image IMN459 Fondements de la vision par ordinateur 5

6 1.1. Repères à considérer a) Repère de la scène (du monde) Ps : point de la scène dans le repère de la scène Coordonnées 3D : notées en majuscules Coordonnées réelles : R R R Notation : Ps = ( Xs, Ys, Zs ) X Repère de la scène Y Z P s IMN459 Fondements de la vision par ordinateur 6

7 1.1. Repères à considérer b) Repère de la caméra Pc : point de la scène dans le repère de la caméra On exprime le même point de la scène dans un repère différent Coordonnées réelles : R R R Toujours centré au centre optique L axe des Z pointe vers la scène Notation : Pc = (Xc, Yc, Zc ) Y P c Z X Repère caméra IMN459 Fondements de la vision par ordinateur 7

8 1.1. Repères à considérer c) Repère de l image pc : point de l image dans le repère de l image réelle L origine est positionnée au point d intersection entre l axe optique et le plan image Coordonnées 2D : notées en minuscules Coordonnées réelles : R R Notation : pc = (xc, yc ) À Noter : l image est inversée Repère image x y p c IMN459 Fondements de la vision par ordinateur 8

9 1.1. Repères à considérer c) Repère de l image Image frontale Plus pratique pour la modélisation : l image est à l endroit Les axes sont inversés Le repère correspond à la projection du repère caméra sur l image frontale On peut donc aussi exprimer en 3D : pc = (xc, yc, z ) Repère caméra X Y Z x Plan image frontal ou virtuel y Repère image z IMN459 Fondements de la vision par ordinateur 9

10 1.1. Repères à considérer d) Repère des pixels p : point de l image dans le repère des pixels Prends en compte l échantillonnage : N N Notation : p = (m, n ) Par convention, l origine est en haut à gauche sur l image frontale m p n Repère pixels n p m IMN459 Fondements de la vision par ordinateur 10

11 Résumé des 4 repères Repère caméra Y P s = ( X s, Y s, Z s ) Repère de la scène Y Repère image x Z P c = ( X c, Y c, Z c ) X Z y p c = (x c, y c ) n p = (m, n) m Repère pixels X P s : point de la scène dans le repère de la scène P c : point de la scène dans le repère de la caméra p c : point de l image dans le repère de l image p : point de l image dans le repère des pixels IMN459 Fondements de la vision par ordinateur 11

12 Plan du chapitre 1. Rappels de formation d image 1.1. Repères à considérer a) Géométrie b) Optique c) Numérisation 2. Paramètres de la caméra IMN459 Fondements de la vision par ordinateur 12

13 a) Géométrie Projection : Passer du repère de la caméra au repère de l image On veut trouver pc en connaissant Pc et le système de formation P c x Y Repère image p c y X Z Repère caméra IMN459 Fondements de la vision par ordinateur 13

14 a) Géométrie Utile pour Calibrage Stéréovision IMN459 Fondements de la vision par ordinateur 14

15 a) Géométrie Projection perspective, caméra à sténopé O : centre optique (de projection) de la caméra P c O p c z IMN459 Fondements de la vision par ordinateur 15

16 a) Géométrie Projection perspective faible La scène a peu de relief (δzc) et est loin de la caméra En pratique, il faut que δ Z c < Z c 20 p c2 P c1 = ( X c1, Y c1, Z c1 ) O P c2 = ( X c2, Y c2, Z c2 ) p c1 Projection perspective de 2 points de la scène IMN459 Fondements de la vision par ordinateur 16

17 a) Géométrie Projection perspective faible plan Z c p c2 (X c1,y c1,z c ) (X c2,y c2,z c ) p c1 IMN459 Fondements de la vision par ordinateur 17

18 a) Géométrie Projection perspective faible Source : Hartley and Zisserman, 2003 La perspective faible suppose la caméra loin de la scène perspective Distance focale Distance de la caméra perspective faible IMN459 Fondements de la vision par ordinateur 18

19 a) Géométrie Projection perspective faible Correspond à une projection orthogonale avec un changement d échelle Plan image frontal Changement d échelle Projection orthogonale O z Z c IMN459 Fondements de la vision par ordinateur 19

20 a) Géométrie Utilité de la projection perspective faible Dans certaines méthodes de reconstruction 3D, on cherche Zc = fct1 (Xc, Yc) En posant l hypothèse de perspective faible, on peut reformuler Zc = fct2 (m, n) Carte de profondeur car p c z' P c Z c IMN459 Fondements de la vision par ordinateur 20

21 b) Optique Distorsion radiale Plus le pixel est éloigné du centre optique, plus la distorsion est importante a) Type barillet b) Type coussinet c) ligne pleine : image non distordue IMN459 Fondements de la vision par ordinateur 21

22 b) Optique Distorsion radiale Images distordues IMN459 Fondements de la vision par ordinateur 22

23 b) Optique Distorsion radiale p d = ( x d, y d ) p c = ( x c, y c ) Bleu : repère image IMN459 Fondements de la vision par ordinateur 23

24 c) Numérisation Jusqu à présent, on a considéré l image comme continue avec des coordonnées réelles Une image «réelle» IMN459 Fondements de la vision par ordinateur 24

25 c) Numérisation À cause du stockage, l appareil numérique transforme l image continue en image discrète Pour faciliter la référence, le repère est modifié (convention) Une image informatique IMN459 Fondements de la vision par ordinateur 25

26 c) Numérisation Échantillonnage Bleu : repère image réelle p d = (x d, y d ) IMN459 Fondements de la vision par ordinateur 26

27 c) Numérisation Échantillonnage l échelle a changé mais il reste des coordonnées négatives crée des erreurs de positionnement (bruit) α = Sx / Sy : format du pixel «aspect ratio» pe Z Z parfois on exprime plutôt le nombre de pixels par mm kx = 1/Sx ky = 1/Sy p e = (m e, n e ) p d = (x d, y d ) Bleu : repère échantillonné S x S y IMN459 Fondements de la vision par ordinateur 27

28 c) Numérisation Changement de repère Bleu : repère échantillonné Violet : repère pixels p = (m, n ) p e = (m e, n e ) IMN459 Fondements de la vision par ordinateur 28

29 c) Numérisation Changement de repère Inversion de l axe des y Déplacement de l origine p N N O n p p e O m IMN459 Fondements de la vision par ordinateur 29

30 c) Numérisation Il se peut que l axe optique ne soit pas exactement au milieu de l image réelle p O n p e O m IMN459 Fondements de la vision par ordinateur 30

31 Plan du chapitre 1. Rappels de formation d image 2. Paramètres de la caméra 2.1. Paramètres extrinsèques 2.2. Paramètres intrinsèques IMN459 Fondements de la vision par ordinateur 31

32 2.Paramètres de la caméra 2.1. Paramètres extrinsèques Aspects externes de la caméra Position et orientation (du repère) de la caméra en fonction (du repère) de la scène Paramètres extrinsèques P s P c Vert : repère de la scène Rouge : repère caméra IMN459 Fondements de la vision par ordinateur 32

33 2.Paramètres de la caméra 2.1. Paramètres extrinsèques Changement du repère de la scène vers le repère de la caméra Équations : X c = R c 11 X s + R c 12Y s + R c 13Z s + T c x Y c = R c 21X s + R c 22Y s + R c 23Z s + T c y Z c = R c 31X s + R c 32Y s + R c 33Z s + T c z T c P s P c R c P s R c Vert : repère de la scène Rose : repère de la scène après rotation Rouge : repère caméra IMN459 Fondements de la vision par ordinateur 33

34 2.Paramètres de la caméra 2.2. Paramètres intrinsèques Aspects internes de la caméra Liens entre les coordonnées d un points de la scène dans le repère caméra et les coordonnées en pixels de sa projection dans l image P c Rouge : repère caméra p Violet : repère pixels Paramètres intrinsèques IMN459 Fondements de la vision par ordinateur 34

35 2.Paramètres de la caméra 2.2. Paramètres intrinsèques Projection perspective Rappel des équations x c = zʹ Z c X c y c = zʹ Y c Z c P c p c IMN459 Fondements de la vision par ordinateur 35

36 2.Paramètres de la caméra 2.2. Paramètres intrinsèques Distorsion radiale Rappel des équations x d = x ( c 1+ k 1 r 2 + k 2 r 4 ) y d = y ( c 1+ k 1 r 2 + k 2 r 4 ) avec r 2 = x c 2 + y c 2 p c p d Remarques : Si la distorsion est petite, on l ignore Si le CCD < , on peut considérer k2 = 0 IMN459 Fondements de la vision par ordinateur 36

37 2.Paramètres de la caméra 2.2. Paramètres intrinsèques Distorsions radiales On peut aussi considérer l équation sous cette forme : x c = x ( d 1+ k 1 r 2 + k 2 r 4 ) y c = y ( d 1+ k 1 r 2 + k 2 r 4 ) avec r 2 = x d 2 + y d 2 Remarque : il est évident que les valeurs de k1 et k2 seront différents de ceux de la page précédente! p c p d IMN459 Fondements de la vision par ordinateur 37

38 2.Paramètres de la caméra 2.2. Paramètres intrinsèques Échantillonnage Rappel des équations S x m e = x d S x p e S y n e = y d S y p d IMN459 Fondements de la vision par ordinateur 38

39 2.Paramètres de la caméra 2.2. Paramètres intrinsèques Changement de repère Rappel des équations p e O m m = m e + O m p n = n e + O n On IMN459 Fondements de la vision par ordinateur 39

40 Récapitulatif Paramètres extrinsèques Position et orientation de la caméra Liés à la projection 1. Rotation, matrice 3 3 : R c 2. Translation, vecteur 3 1 : T c Paramètres intrinsèques Aspects internes de la caméra 3. Distance du plan CCD : z Lié à la projection et à l optique 4. Déformation : k1 et k2 Lié à l optique m = n = zʹ S x zʹ S y R c 11X s + R c 12Y s + R c 13Z s + T c x R c 31X s + R c 32Y s + R c 33Z s + T c z R c 21 X s + Rc 22 Y s + Rc 23 Z s + T c y R c 31 X s + Rc 32 Y s + Rc 33 Z s + T c z 1+ k 1r 2 + k 2 r 4 5. Échantillonnage : Sx et Sy Lié à la numérisation 6. Position de l axe optique : Om et On Lié à la numérisation ( ) k 1r 2 + k 2 r 4 ( ) O m (2.1) + O n IMN459 Fondements de la vision par ordinateur 40

41 Références Pour en savoir plus... Sources des images et vidéos : Wikimedia commons (sauf si autre mention) L.G. Shapiro and G.C. Stockman Computer Vision, Prentice Hall, 2001 R.C. Gonzalez and R.E. Woods Digital Image Processing, Addison Wesley, E. Trucco et A. Verri Introductory Techniques for 3-D Computer Vision, Prentice Hall, E. Dereniak et T. Dereniak Geometrical and Trigonometric Optics, Cambridge University Press, B. Cyganek et J. Siebert An Introduction to 3D Computer Vision Techniques and Algorithms. John Wiley & Sons, R. Horaud et O. Monga Vision par ordinateur : outils fondamentaux. Traité des nouvelles technologies. Série informatique. Hermes, Paris, France, 2 e édition, C. Steger, M. Ulrich et C. Wiedemann Machine Vision Algorithms and Applications. Textbook. John Wiley and Sons, Germany, 2008 IMN459 Fondements de la vision par ordinateur 41