Réalité Augmentée. Gilles Simon

Transcription

1 Réalité Augmentée Gilles Simon Université de Lorraine Équipe-projet INRIA MAGRIT RA : vue directe ou indirecte de la réalité dans laquelle les objets physiques sont annotés, complétés ou remplacés par des éléments infographiques 1/101

2 Définition de la Réalité Augmentée au sens International Symposium of Augmented Reality (depuis 1998) TROIS conditions à respecter [Azuma97] 1. Intégration d objets virtuels dans une scène réelle Réalité mixte Environnement réel Réalité augmentée Virtualité augmentée Environnement virtuel 2

3 Définition de la Réalité Augmentée au sens International Symposium of Augmented Reality (depuis 1998) TROIS conditions à respecter [Azuma97] 1. Intégration d objets virtuels dans une scène réelle 2. En temps réel 3

4 Définition de la Réalité Augmentée au sens International Symposium of Augmented Reality (depuis 1998) TROIS conditions à respecter [Azuma97] 1. Intégration d objets virtuels dans une scène réelle 2. En temps réel 3. En trois dimensions 4

5 La Réalité Augmentée À la confluence de l infographie, la vision par ordinateur, la robotique, l IHM, Dans "l ombre académique" depuis plus de 15 ans Succès grandissant auprès de l industrie et du grand public 5

6 Applications Imaginer le passé ou le futur

7 7 Archeoguide

8 8 RÉALITÉ AUGMENTÉE

12 Applications Annoter le réel Guider pas à pas

15 Applications Assistance en milieu industriel 15

16 Applications Enrichir le réel Fusionner des informations

19 Applications Aider à comprendre / apprendre

20 Applications Culture, éducation 20

22 Applications Divertir Poétiser

23 Applications Divertissement 23

24 Applications Divertissement 24

26 26

27 Applications Art 27

28 En résumé Divers domaines d application Héritage culturel, urbanisme, environnement, mobilité, e-commerce, santé, éducation, industrie, parcs d attraction, jeu, art, Diverses échelles d utilisation Homme, bureau, pièce, bâtiment, rue, ville, univers Diverses techniques de visualisation Smartphone, tablet, écran, casque, vidéo-projection Diverses techniques de positionnement GPS, marqueurs

29 29/101 Les ordinateurs souffrent d agnosie visuelle!

30 30/101

31 Processus d intégration 3D 31

32 Processus d intégration 3D Un modèle partiel de la scène à augmenter doit être disponible Les objets virtuels sont positionnés dans le repère associé au modèle Le modèle est "recalé" dans les images vidéos Seuls les objets virtuels sont affichés 32

33 Processus d intégration 3D Il faut donc résoudre trois problèmes : 1. Acquérir un modèle 3D de l environnement 2. Positionner la scène à ajouter (flèches, labels, objets, ) par rapport au modèle 3. Recaler le modèle dans les images vidéo en temps réel 33

34 Plan du cours Introduction 1. Recalage du modèle 1.1 Modèle de caméra 1.2 Calcul du point de vue 1.3 Tracking temps réel 2. Acquisition des modèles Conclusion 34

35 Typologie des diapositives Fond dégradé : sans formule (autosuffisantes) Fond noir ( dans le boîte noire ) : requièrent quelques connaissances en algèbre linéaire Transparents en Anglais : reprennent en partie des transparents de Vincent Lepetit, EPFL Lausanne, avec son aimable autorisation 35

36 Vue d ensemble du diaporama 36

37 Références 37

38 38/101 1 Recalage du modèle

39 1 Recalage du modèle 1.1 Modèle de caméra 39/101

40 La projection conique Ambrogio Lorenzetti, Les effets du bon gouvernement,

41 La projection conique Albrecht Durer, Instructions pour mesurer (Le dessinateur de la femme couchée),

42 Perspective Projection World coordinate system M m C Camera center The image formation is modeled as a perspective projection, which is realistic for standard cameras: The rays passing through a 3D point M and its correspondent m in the image all intersect at a single point C, the camera center. 43/101

43 Expressing M in the Camera Coordinates System World coordinate system M M cam m Z C Y X Camera coordinate system Step 1: Express the coordinates of M in the camera coordinates system as M cam. This transformation corresponds to a Euclidean displacement (a rotation plus a translation): M cam = RM + T where: R is a 3x3 rotation matrix, and T is a 3- vector. 44/101

44 Homogeneous Coordinates World coordinate system M cam m C Y Z X Camera coordinate system M M ~ Let s replace by the 4- homogeneous vector : Just add a 1 as the fourth coordinate. X X M Y M Y Z Z 1 Now, the Euclidean displacement can be expressed as an linear transformation instead of an affine one: 45/101 M cam RM T X cam Y cam Z cam X R Y T Z X cam Y cam Z cam X R T Y Z 1 M cam R TM (R T ) is a 3x4 matrix.

45 The External Calibration Matrix The matrix R T R 11 R 13 R 13 T 1 R 21 R 22 R 23 T 2 R 31 R 32 R 33 T 3 is called the "External calibration matrix", or the "extrinsic calibration matrix", or the "matrix of external parameters". It can be parameterized by 6 values: 3 for the rotation, 3 for the translation. 46/101

46 Projection M cam C Y Z X f Camera coordinate system Computation of the coordinates of m in the image plane, from M cam (expressed in the camera m coordinates system): Simply use Thales' theorem: f Z m X M cam m X f X Z m X f X Z C m X X 47/101

47 From Projection to Image Coordinates of m in pixels? 1 Image coordinate system u u 0 v 0 v f m k u 1 pixel 1 k v m X f X Z, m Y f Y Z C Camera coordinate system m u u 0 k u m X, m v v 0 k v m Y 48/101

48 Putting together the perspective projection and the transformation into pixel coordinates : m X f X Z, m Y f Y Z m u u 0 k u m X, m v v 0 k v m Y In matrix form: u k u f 0 u 0 X v 0 k v f v 0 Y w Z u v defines m in homogeneous coordinates w m u u w u k f X 0 u Z m v v w v k f Y 0 v Z 49/101

49 The Internal Calibration Matrix The matrix k u f 0 u 0 0 k v f v is called the "Internal calibration matrix", or the "intrinsic calibration matrix", or the "calibration matrix", or the "matrix of internal parameters". It can be parameterized by 4 values: α u, α v, u 0, v 0 : u 0 u 0 0 v v The number of parameters can be reduced under some assumptions: (u 0, v 0 ) is sometimes taken at the center of the image; Taking α u = α v assumes that the pixels are square. 50/101 50

50 The Full Transformation The two transformations are chained to form the full transformation from a 3D point in the world coordinate system to its projection in the image: X u k u f 0 u 0 R 11 R 13 R 13 T 1 v 0 k v f v 0 R 21 R 22 R 23 T Y 2 Z w R 31 R 32 R 33 T 3 1 X P 11 P 12 P 13 P 14 P 21 P 22 P 23 P Y 24 Z P 31 P 32 P 33 P 34 1 projection matrix The product of the internal calibration matrix and the external calibration matrix is a 3x4 matrix called the "projection matrix". The projection matrix is defined up to a scale factor. 51/101 51

51 Notations R, T World coordinate system M m C Camera center m AR TM PM A: Internal calibration matrix (3x3); R: Rotation matrix (3x3); T: Translation vector (3-); P: Projection matrix (3x4); 52/101 M : world 3D point in homogenous coordinates (4-); m: image 2D point in homogenous coordinates (3-), projection of M in the image; 52

52 La projection conique 53

53 Le problème du calcul du point de vue RECALER LE MODÈLE = CONNAÎTRE LE POINT DE VUE DE LA CAMERA (R,T) PAR RAPPORT À LA SCÈNE Problème commun à la RA et à la robotique Deux possibilités : Utiliser des capteurs physiques de mouvement Utiliser l image elle-même (vision par ordinateur) 54

54 1 Recalage du modèle 1.2 Calcul du point de vue 55/101

55 Calcul du point de vue à partir de capteurs 56

56 57/101 Illustration (Coordonnées GPS + bousole)

57 Calcul du point de vue à partir de capteurs PROBLÈME : LA PRÉCISION! 58

58 Calcul du point de vue à partir de capteurs PROBLÈME : LA PRÉCISION! 59 University of South Australia

59 Calcul du point de vue à partir de capteurs Suffisant pour de nombreuses applications ne nécessitant pas une grande précision 60

60 Calcul du point de vue à partir de l image 61

63 Calcul du point de vue à partir de l image Le point de vue peut être calculé à partir de 4 points lorsqu on connaît : les coordonnées 3D dans la scène les coordonnées 2D dans les images vidéo (en temps réel!) 2D 3D Centre optique 64

64 Linear Estimation of P from 3D/2D point correspondences (DLT algorithm) Each correspondence gives us 2 equations: m i PM i u i P X P Y P Z P 11 i 12 i 13 i 14 P 31 X i P 32 Y i P 33 Z i P 34 v i P X P Y P Z P 21 i 22 i 23 i 24 P 31 X i P 32 Y i P 33 Z i P 34 65/101 P 11 X i P 12 Y i P 13 Z i P 14 P 31 X i u i P 32 Y i u i P 33 Z i u i P 34 u i 0 P 21 X i P 22 Y i P 23 Z i P 24 P 31 X i v i P 32 Y i v i P 33 Z i v i P 34 v i 0 P X i Y i Z i X i u i Y i u i Z i u i u i X i Y i Z i 1 X i v i Y i v i Z i v i v i 0 P 34 P 11 B... 0 Stacking all the equations into matrix B yields the linear system: P 34 65

65 DLT algorithm P 11 B... 0 P 34 P P 34 is the eigen vector of B corresponding to the smallest eigenvalue of B. 11 coefficients to estimate each 3D-2D correspondence gives 2 equations: 6 3D-2D correspondences must be known. in practice, much more are needed to get a good estimation. 66/101 66

66 Extraction of A, R, and T from P 1. A is known. 2. A is not known. Trick to estimate A: Consider the matrix made of the first 3 columns of P: P P 3 c 4 P 3 AR And compute P 3 P 3 T (AR)(AR) T ARR T A T AA T since A is a upper-triangular matrix, it can be found using Cholesky 67/101 factorization of AA T 1 is called the image of the absolute conic. P 3 P 3 T 67

67 Extraction of R, and T from P Once A is known: No guarantee that R is a rotation matrix: R still must be "ortho-normalized". How to find the "best" rotation matrix that approximates Q? [R t] A 1 P 1. Singular Value Decomposition of Q: Q = USV T, where S = diag(s 1, s 2, s 3 ) U and V have orthogonal columns, so that U T U = V T V = I 2. R = UV T 68/101 68

68 Ortho-Normalization of R: Proof Lets Q = A -1 P 3 a first approximation of R. No guarantee that Q is a rotation matrix. How to find the "best" rotation matrix that approximates Q? Take "best" in the sense of the smallest Frobenius norm of the difference R Q. R Q 2 F trace trace( R min R 2 RQ F T R Q R Q R Q R R T T Q Q 2traceR Q Minimizing R - Q 2 is equivalent to maximize trace(r T Q)) Let the SVD of Q be USV T, where S = diag(s 1, s 2, s 3 ): T 3 trace T T subject to RR T I Q Q T Q) (definition of Frobenius norm) trace( R T Q) trace( R T USV) trace( ZS) i z ii trace( VR s i i s i T US) with Z =V R T U. Maximum reached with Z = I R = UV T 69/ [From Zhang TR98]

69 P-n-P Problem DLT: Not a good idea when the internal parameters are known. PnP: Perspective-n-Point : estimation of the Position and Orientation (R and T) from 2D/3D point correspondences when the internal parameters (A) are known. 3 correspondences are sufficient (6 equations for 6 parameters), BUT yield up to 4 solutions, generally only two: a fourth correspondence is needed to remove the ambiguity. M 3 M 1 M 2 m 1 m 3 m2 70/101 C

70 The P3P Problem M i d ij Mj m i θ ij m j x i C Each pair of correspondences M i m i and M j m j gives a constraint on the (unknown) camera-point distances x i = M i - C and x j = M j - C : d 2 ij = x 2 i + x 2 j 2 x i x j cosθ ij, where: d ij = M i - M j is the (known) distance between M i and M j ; θ ij is the (also known) angle sustended at the camera center by M i and M j /101

71 Computation of cosθ ij m i θ ij m j cosθ ij must be computed. It depends only on the (known) 2D positions m i and m j. 72/101 cos Cm A cos i ij ij C T T Cm j Cmi Cm j Cmi T T Cm j Cmi Cm Cm Cm Cm 1 m m m T j T 1 2 T m m m m j i j i i i 1 2 j with j i i T -1 AA the image of the absolute conic. 72

72 Overview of the P3P M i d ij Mj m i θ ij m j x i C 1. Solve for the distances x i ; 2. The positions M C i of the points M i in the camera coordinates system can be computed; 3. R and T are computed as the Euclidean displacement from the M i to the M C. i. 73/101 73

73 P3P: Summary Well adapted to the problem Closed-form solution. Only 3 points + one constraint needed to compute the pose. Inconvenient: pose computed with only 3 points, can be inaccurate Pose refined by a non-linear estimation with all the points available 74/101 74

74 Non-Linear Optimization Non-linear least-squares minimization: min R,T i A[R T]M i m i 2 Minimization of a physical, meaningful error (reprojection error, in pixels) Handle an arbitrary number of points. Gauss-Newton, Levenberg Marquardt... minimization 75/101 75

75 1 Recalage du modèle 1.3 Tracking temps réel 76/101

76 Question en suspend Où sont les points 2D m i correspondant aux points M i dont on connaît les coordonnées 3D? Il faut pouvoir les détecter en temps réel dans chaque image! Deux types de solutions : Utiliser des marqueurs artificiels Utiliser des balises (coins, patchs, blobs, contours, ) naturellement présentes dans l environnement 77

77 Utilisation d un marqueur Facile avec un marqueur : Points 3D : sommets d un carré (x,y,0) Détection et reconnaissance automatiques du carré dans les images Exemple : ARToolkit (open sources) 78

78 79/101 Démo (ARToolkit)

79 Tracking sans marqueur Plus difficile sans marqueur ni capteur : Utilisation d un modèle texturé de l environnement Extraction d indices visuels (patchs, descripteurs SIFT, contours ) correspondant à des primitives 3D (points, arêtes, ) de la scène Problème : retrouver ces indices visuels dans le flux temps réel d images vidéo 80

80 Feature Point Extraction How to extract the same physical points? 81/101

81 Good Features to Track J. Shi and C. Tomasi. Good features to track. CVPR'94. Defines a "cornerness" measure. Idea: Look for the points x easy to match under a 2D translation? 82/101

82 Good Features to Track For which points x the translation d can be reliably estimated? (sum-of-squared differences) 83/101

83 Good Features to Track 84/101

84 Good Features to Track 85/101

85 Harris corner detector g x g y (g x ) 2 (g y ) 2 86/101 Gauss(.)*g x g y Gauss(.)*(g x ) 2 Gauss(.)*(g y ) 2

86 Harris corner detector min(l 1,l 2 ) 87/101

87 Feature Point Matching Possible correlation measures: /101

88 Feature Point Matching 1. For each point, search for the correspondent that maximizes the correlation. Search limited to a Region of interest centered on the point. 89/101

89 Feature Point Matching 1. For each point, search for the correspondent that maximizes the correlation. Search limited to a Region of interest centered on the point. 2. Retain the best correspondent according to the correlation. 90/101

90 Feature Point Matching 1. For each point, search for the correspondent that maximizes the correlation. Search limited to a Region of interest centered on the point. 2. Retain the best correspondent according to the correlation. 3. Reverse the role of the images. 91/101

91 Feature Point Matching 1. For each point, search for the correspondent that maximizes the correlation. Search limited to a Region of interest centered on the point. 2. Retain the best correspondent according to the correlation. 3. Reverse the role of the images. 92/101

92 Feature Point Matching 1. For each point, search for the correspondent that maximizes the correlation. Search limited to a Region of interest centered on the point. 2. Retain the best correspondent according to the correlation. 3. Reverse the role of the images. 4. Keep the points that choose each other. 93/101

93 Exemple Lepetit et al., EPFL Lausanne 94

94 95/101 Démo (Lunettes Ray-Ban)

95 Matching distant Problème : appariement entre images distantes (nécessaire au moins à l initialisation et à chaque plantage du tracking) On cherche à obtenir des détecteurs et descripteurs de points invariants par : Changement d échelle Rotation 2D Transformation affine 2D Dans une certaine mesure, changement de point de vue Exemple : Scale Invariant Feature Transform (SIFT), très populaire 96

96 Scale-space theory L image f(x,y) est convoluée avec un noyau gaussien g(x,y,t) sur un continuum d échelles t 0 t=0 t=1 t=4 97/101 t=16 t=32 t=64

97 Scale-space theory Propriété intéressante : cette représentation satisfait l équation de la chaleur, dérivée de la loi de Fourier (la vitesse de propagation de la chaleur est proportionnelle à la différence de température) et de la conservation de l énergie : Intuitivement : des blocs de glace (blobs) fondent aux frontières en fondant les blocs s étalent et fusionnent, formant de plus grands blocs plus chauds des échelles différentes permettent de détecter des blobs de tailles différentes 98/101

98 LoG - DoG Laplacian of Gaussian (LoG) : chapeau mexicain : cet opérateur répond bien aux blobs de taille t Difference of Gaussian (DoG) : bonne approximation du LoG (cf. équation de la chaleur) mais séparable donc plus rapide à calculer Important : une échelle est associée à chaque blob => permet d obtenir l invariance à l échelle G(t) G(t ) 99/101 G(t)-G(t )

99 Scale Invariant Feature Transform (SIFT) 100/101

100 Accurate Keypoint localization Keypoint locations: Extrema of Difference-of-Gaussian in scale space Sub-pixel and sub-scale interpolation: The Taylor expansion around point is: Offset of extremum: 101/101

101 Select Canonical Orientation Create histogram of local gradient directions computed over the image patch; Each gradient contributes for its norm, weighted by its distance to patch center; Assign canonical orientation at peak of smoothed histogram => invariance à la rotation 102/101

102 SIFT Description Vector Made of local histograms of gradients In practice: 8 orientations x 4 x 4 histograms = 128 dimensions vector Matching: distance euclidienne entre les vecteurs de l image courante et les vecteurs de la base (kd-tree) 103/101

103 SIFT Exemple Une version simplifiée a été proposée qui tourne en temps réel sur téléphone portable (PhonySIFT) 104

104 Passage à l échelle Problèmes en Environnements vastes : le nombre d indices visuels à parcourir est gigantesque l apparence des indices peut varier considérablement en fonction du point de vue, des conditions climatiques, etc. Problème des occultations (encombrement des rues, ) problème des motifs répétés Oxford University 105

105 Passage à l échelle Plutôt que de rechercher les indices de la base présents dans l image observée on peut rechercher les images de la base proches de l image observée Analogie avec la recherche documentaire qui permet d avoir un classement par ordre de pertinence des résultats Mot Document Mot visuel Image Oxford («Video Google») : les mots visuels sont des clusters de descripteurs SIFT 106

106 Passage à l échelle Oxford : utilisation d un système de fichiers inversés : chaque document (image) de la base est représenté par un vecteur V d =(t 1,,t k ) où k est le nombre de mots (indices) de la base et t i est la fréquence pondérée d apparition du mot i dans le document : n id : nombre d occurrences du mot i dans le document n d : nombre de mots dans le document n i : nombre d occurrences du mot i dans la base N : nombre de mots dans la base lors d une recherche les documents sont triés selon le produit scalaire normalisé (cosinus de l angle) entre le vecteur de la requête et les vecteurs de la base 107

107 108/101 2 Acquisition des modèles

108 Acquisition des modèles Différentes possibilités pour acquérir des modèles utiles à la RA : Mesures laser Reconstruction à partir d une vidéo Modélisation à partir d une ou plusieurs photographie(s) 109

109 Mesures laser Modèle = nuage de points Mines ParisTech 110

110 Reconstruction à partir de vidéos 111

111 Reconstruction à partir de vidéos Modèle = nuage de points Exemples : Boujou, Matchmover, Voodoo, Oxford University 112

112 113/101 Démo (Matchmoving avec Voodoo)

113 Modélisation à partir de photographies Modèle = assemblage de primitives (cubes, faces, ) Exemples : Sketchup, ImageModeler ImageModeler (Autodesk) 114

114 Modélisation à partir de photographies Les modèles surfaciques sont les plus intéressants pour la RA : positionnement des objets virtuels simplifié prise en compte des occultations et inter-réflexions lumineuses entre la scène réelle et la scène virtuelle 115

115 Modélisation à partir de photographies Projection d une droite dans le plan image Point de fuite 116

116 Modélisation à partir de photographies Projection d une droite dans le plan image Point de fuite 117

117 Modélisation à partir de photographies Point de fuite 118 (Masaccio, La Trinité, 1427)

118 Modélisation à partir de photographies Inversion de la scène en utilisant de deux points de fuite de directions orthogonales Point de fuite v f Origine Point de fuite w 119

119 120/101 Calcul de f v w C θ ij 0 2 de la conique absolue. image l' avec cos T -1 T 2 1 T 2 1 T T w v w w v v w v ij ij AA ), ( et ), ( où ) ( T 0 0 w w v v w v w v v u v u w v u v v v u u f f f f f v u AA A

120 Modélisation à partir de photographies Exemple : dans Google Sketchup Point de fuite Ligne d horizon Point de fuite 121

121 122/101 Démo (Sketchup)

122 Acquisition de grands environnements Encore fastidieux (images satellites, fusion des cartes locales, ) Phénomène intéressant : édification communautaire de cartes 3D 123 Google Earth

123 124/101 Conclusion

124 Conclusion La technologie est disponible pour des applications en environnements confinés ou ne nécessitant pas de très grande précision La méthode à utiliser pour le recalage dépend du contexte Ces travaux profitent aussi à la robotique (et vice versa) Défis actuels de la RA : Recalage précis en environnements vastes Des outils efficaces pour acquérir des modèles adaptés à la RA Plus généralement, donner la vue aux machines. Certains algos de reconnaissance s inspirent du fonctionnement du cerveau 125

125 Conclusion Exemple de travaux en cours dans MAGRIT : modélisation in situ la caméra est utilisée à la fois comme dispositif d interaction (au lieu d une souris) et de positionnement 126 Nancy-Université / INRIA Nancy