Formation et Analyse d'images. La Vision Stéréoscopique

Dimension: px

Commencer à balayer dès la page:

Download "Formation et Analyse d'images. La Vision Stéréoscopique"

Jean-François Corbeil
il y a 8 ans
Total affichages :

1 Formtion et Anlyse d'imges Jmes L. Crowley ENSIMAG 3 Premier Bimestre 2007/2008 Sénce décemre 2007 Pln de l Sénce : L Vision Stéréoscopique L Vision Stéréoscopique...2 Les Techniques d'appriement...2 L Géométrie Stéréoscopique...3 Le pln Epipolir...4 L Mtrice Fondmentle...4 Détermintion de l Correspondnce pr Inter Corréltion 7 Voisinge en tnt que vecteur...9 Estimtion du point R dns l scène...10 Le Trnsport Epipolir...12 Le cs des rétines coplnires

Vision Stéréoscopique...2 Les Techniques d'appriement...2 L Géométrie Stéréoscopique...3 Le pln Epipolir.

2 L Vision Stéréoscopique L vision stéréoscopique est l'estimtion de l position des points dns l scène à prtir de deux imges prises de deux position différentes. Il y deux prolèmes en stéréo : 1) Représenttion des Imges. 1) L recherche des Correspondnces 2) Inférence de position 3D. L recherche de points de correspondnce entre deux imges et une Grnd prolème en Vision depuis 30 ns. Pr conséquent il existe une grnde diversité d'pproches pour l mise en correspondnce. Les Techniques d'appriement Les techniques de mise en correspondnce cherches à pprier deux "choses". Il existe des diverses mnifesttions des techniques pour le stéréo : Au Niveu Pixels : Inter-correltion des Voisinges (NCC et SSD) Dns l'imge Avec une pyrmide multi-echelle Appriement près projection sur les chmps réceptifs. tous les points Sur les mximums locux. Au niveu Contours : Pr ppriement de grphe Pr ppriement de group de contours Dns tous les lgorithmes, l clé est d'ppliquer les contrintes. L géométrie multi-imge nous donne une contrinte puissnte : L Contrinte Epipolire. 11-2

L recherche de points de correspondnce entre deux imges et une Grnd prolème en Vision depuis 30 ns. Pr conséquent il existe une grnde diversité d'pproches pour l mise en correspondnce.

3 L Géométrie Stéréoscopique p q e Bse Line e Imge A imge B Nottion : Point dns le Scène (Les tenseurs en 3D sont Mjuscule) Cmér A : Centre de Projection : Mtrice de Projection : M s Projection de p (Les tenseurs en 2D sont minuscules) epipole de en e Reltions pour l cmér : Cmér B : Centre de Projection : Mtrice de Projection : Projection de epipole de en Reltions pour l cmér : p = M s e = M s M s q e q = M s e = M s 11-3

tenseurs en 2D sont minuscules) epipole de en e Reltions pour l cmér : Cmér B : Centre de Projection :

4 Le pln Epipolir p q e Bse Line e Imge A imge B L droite entre et est le "Bse-line". Les épipoles sont définit pr l'intersection de l se line vec les rétines. L'épipole e est l projections de sur l'imge A. e = M s L'épipole e est l projections de sur l'imge A. e = M s Les trois points, et définies un pln en S. : P s = (,, c, d). Nottion Clssique : x + y + c z + d = 0 Nottion Tensoriel : P s = 0. Un pln est une contrinte sur qutre points tels que leurs déterminnt est nulle. Pour tout point dns l scène P s sur le pln épipolire : Clcul : det P s = det x y z 1 R 1 R 2 R 3 R 4 A 1 A 2 A 3 A 4 = 0. B 1 B 2 B 3 B

e = M s L'épipole e est l projections de sur l'imge A. e = M s Les trois points, et définies un pln en S. : P s = (,, c, d).

5 L Mtrice Fondmentle Rppel : Dns un pln Euclidienne en R 2, en nottion "clssique", une droite est définie pr une éqution x + y + x = 0. On peut exprimer cette éqution comme l produit de deux vecteurs : L P = 0 ou L = ( c ) et x P = y 1 En nottion tensorielle, cette éqution est exprimée : L i P i = 0 vec i=1, 2, 3. Pour chque pire de Cmérs, (, ) il existe une mtrice 3 x 3, F, qui projet les points, p d'une sur une droite, l de l'utre l = F p m = F q L'interception de l plne épipolire vec une imge est une droite dns l'imge. Cette droite correspond à l projection de l droite q sur l deuxième imge. L mtrice F est connue comme l mtrice "fondmentle". p q e Bse Line e Imge A imge B L mtrice fondmentle est de tille 3 x 3 et de rnk 7. Tille 3 x 3 9 coefficients 11-5

Pour chque pire de Cmérs, (, ) il existe une mtrice 3 x 3, F, qui projet les points, p d'une sur une droite, l de l'utre l = F p m = F q L'interception de l plne épipolire vec une imge est

6 Coordonnées Homogènes F 33 = 1 Rnk 8. Pour clculer l mtrice fondmentle : On note que m q = 0. Prce que m = F p on (p F ) q = p F q = 0. Algorithme de 8 points : ) Déterminer K 8 pires de points correspondnts (p k, q k ) ) Ecrire K : p k F q k = 0. Ceci donne (p k q k ) F = 0 On note que p 3 = 1 et que q 3 = 1 et que F 33 = 1. c) on écrit : ( p 1 k q1 k p1 k q2 k p1 k p2 k q1 k p2 k q2 k q2 k p1 k p2 k ) F 11 F 12 F 13 F 21 F 22 F 23 F 13 F 23 = 0 A cuse des instilités numériques et les imprécisions des pixels, il est conseillé de l clculer vec plus que 8 points pr un clcul de moindre de crrée. Méthode Moindre de Crrée. Avec N 8 couples de points (p k q k ) trouver F qui minimise min{ (p k q k ) F = min{ F } Le min est trouvé pr SVD de A. SVD(A) = UDV T Le dernier ligne de V est le F qui minimise AF 11-6

c) on écrit : ( p 1 k q1 k p1 k q2 k p1 k p2 k q1 k p2 k q2 k q2 k p1 k p2 k ) F 11 F 12 F 13 F 21 F 22 F 23 F 13 F 23 = 0 A cuse des instilités numériques et les imprécisions des pixels, il est

7 Détermintion de l Correspondnce pr Inter Corréltion Méthode : Pour un point p de l'imge A, on prend le voisinge X(m, n) de tille MxN comme un "motif". On recherche des voisinges W(m, n) de l'imge B(i, j) qui "ressemle" X(n,m). Hypothèses : ruit dditif Gussien. Ps de rottion dns l'imge Ps de rottion dns l'espce 3D Ps de chngement d'échelle. Si on peut respecter ces qutre hypothèses, une norme Euclidienne est l méthode "optimle" (min proilité d'erreur) pour détecter le voisinge d'une imge qui ressemle à un motif. Il existe des vritions de l technique pour l rendre rouste u rottions 2D, rottions 3D et chngements d échelle. L norme Euclidienne est connue comme l SSD ("Sum of Squred Distnces"). Il s'git d'une opértion efficce et précise, mis frgile. Définition : Soit un motif X(m, n) pour m [0, M 1], n [0, N 1]. Soit une imge B(i, j) pour i [0, I 1], j [0, J 1]. (M << I, N << J) Plcer X(m, n) à chque position possile (i, j) et mesurer l distnce Euclidienne entre X et les MN pixels de P à (i, j). SSD(i, j) = X(m,n) B(i+m, j+n) 2 M 1N 1 = (B(i+m, j+n) X(m, n)) 2 m=0 n=0 Si les pixels de B, à l position (i, j) ressemlent à X, l distnce est nulle. Sinon, l position ynt le mximum de vrisemlnce est celle correspondnt u minimum de l fonction SSD. M 1 N 1 Min { (B(i+m, j+n) X(m, n)) 2 } i j m=0 n=0 Grce à l contrinte épipolire, on peut limiter l recherche à l droite m = F p. 11-7

Si on peut respecter ces qutre hypothèses, une norme Euclidienne est l méthode "optimle" (min proilité d'erreur) pour détecter le voisinge d'une imge qui ressemle à un motif.

8 M 1 N 1 Min { (P(i+m, j+n) X(m, n)) 2 } i j M m=0 n=0 M est l droite m 1 i + m 2 j + m 3 = 0 Chque point de l scène sur p correspond à une point sur m q = 0 p m q = 0 e e Imge A imge B 11-8

9 Voisinge en tnt que vecteur Les pixels X(m, n) peuvent être vus comme un vecteur X = X k ou k = nm+m. Les pixels de chque voisinge W(i, j) de B peuvent ussi être vus comme un vecteur. W = W k ou k = (j+n)i+m+i L'opértion SSD est l norme de l différence de ces deux vecteurs : SSD(i, j) = X W 2 = M 1 N 1 (W(i+m, j+n) X(m, n)) 2 } m=0 n=0 Une utre méthode de comprison est le produit sclire (CC pour "Cross Corréltion") : CC(i, j) = < X, W > = M 1 N 1 W(i+m,j+n)X(m, n) m=0 n=0 Si les vecteurs X et W ont une longueur unitire, le produit sclire est un cosinus de l'ngle entre les vecteurs. X u (m, n) = X X W u (m, n) = W W X(m, n) = M 1N 1 X(m, n) 2 m=0 n=0 W(i+m, j+n) = M 1N 1 W(i+m, j+n) 2 m=0 n=0 On otient un inter corréltion "normlisée" pr l'énergie (NCC) : NCC(i, j) = < X u, W u> = M 1 N 1 W(i+m,j+n) m=0 n=0 W X(m, n) X Le NCC est le cosinus entre X u W u. S vleur est entre 1 et 1. Estimtion du point R dns l scène 11-9

sclire (CC pour "Cross Corréltion") : CC(i, j) = < X, W > = M 1 N 1 W(i+m,j+n)X(m, n) m=0 n=0 Si les vecteurs X et W ont une longueur unitire, le produit sclire est un cosinus de l'ngle entre les

10 p e Bse Line e q Imge A imge B L point dns l scène est l'intersection de trois plns. Soit M s l mtrice de l cmér A. Pour un point inconnu nous oservons p En tensorielle : p = M s 1 M s p M s = 0 et 2 M s p M s = 0 en nottion clssique 1 M s 3 i M s = 0 et 2 M s 3 j M s = 0 Soit N s l mtrice de l cmér B. Pour le point inconnu nous oservons q q = N s 1 N s q N s = 0 et 2 N s q N s = 0 en nottion clssique 1 N s 3 i N s = 0 et 2 N s 3 j N s = 0 Nous vons qutre équtions et trois inconnu = (x s, y S, z s, 1)

M s = 0 et 2 M s 3 j M s = 0 Soit N s l mtrice de l cmér B.

11 On peut trouver le point s P L vec deux équtions du A et une du B. 1 M s i M 3 s M s j M s N s i N s = 0 ou ien M 1 i M 1 M 1 j M 1 N 1 i N 1 M 2 i M 2 M 2 j M 2 M 2 i N 2 M 3 i M 3 M 3 j M 3 N 3 i N 3 X s Y s M 4 i M 4 M 4 j M 4 N 4 i N 4 Z s = et donc X s Y s M 1 i M 1 M 1 j M 1 N 1 i N 1 M 2 i M 2 M 2 j M 2 M 2 i N 2 M 3 i M 3 M 3 j M 3 N 3 i N 3 Z s = 1 1 M 4 i M 3 4 M 4 j M 4 N 4 1 i N

N 2 M 3 i M 3 M 3 j M 3 N 3 i N 3 X s Y s M 4 i M 4 M 4 j M 4 N 4 i N 4 Z s = et donc X s Y s M 1 i

12 Le Trnsport Epipolir C s m c l c e c r c Imge C f c p q Imge A Imge B Soit un Troisième Imge C. L'Estimtion de l fondmentl F c donne : l c = F c p L'Estimtion de l fondmentl F c donne : m c = F c q mis r c = l c x m c = ( F c p ) x (F c q ) L nottion tensoriel permet de fire : r c = ( F c x F c ) p q = T c p q Le produit croisé des deux tenseur d'ordre 2 est une tenseur d'ordre 3. T c = ( F c x F c ) c Le tenseur T c donne r c = T c p q 11-12

l c x m c = ( F c p ) x (F c q ) L nottion tensoriel permet de fire : r c = ( F c x F c ) p q = T c p q Le

13 Le cs des rétines coplnires Les xes "optiques" sont prllèles Les imges sont dns le même pln. Les deux cmérs sont séprées pr une Trnsformtion T dns l direction X s. C.-à-d. Ns = Ms T tel que T = B Dns ce cs, les droites "épipolires" correspondent ux lignes des imges. Z R Z p q A B L formule pour l profondeur peut être déduite pr tringle semlle. Z Z R x Z F F x X 11-13

Ns = Ms T tel que T = 1 0 0 B 0 1 0 0 0 0 1 0 0 0 0 1 Dns ce cs, les droites "épipolires"

14 Écrire : X Z = x r X F Z = x r F Prendre l différence des équtions : X Z - X Z = x r F - x r F Note que Z = Z = Z et que (X- X) = B ==> B Z = (x r-xr) F x = xr-xr est l Disprité ou ien : Z = BF x NOTE : L formule de profondeur est INDEPENDANTE des vleurs de xrg et xrd. Ç dépend de x! 11-14

r-xr) F x = xr-xr est l Disprité ou ien : Z = BF x NOTE : L formule de

Documents pareils

Module 2 : Déterminant d une matrice

Module 2 : Déterminant d une matrice L Mth Stt Module les déterminnts M Module : Déterminnt d une mtrice Unité : Déterminnt d une mtrice x Soit une mtrice lignes et colonnes (,) c b d Pr définition, son déterminnt est le nombre réel noté