University of Liège. INFO Vision 3D. Mini Synthesis

Transcription

1 University of Liège INFO Vision 3D Mini Synthesis Marc Gou, Student of third bachelor in Computer Science 1/24/2012

2 Attention! Ce résumé est entièrement basé sur les transparents du cours, mais le but n est pas d être 100% précis et complet, mais de synthétiser de manière très globale les matières du cours. D ailleurs, le chapitre porté sur Machine Learning n est pas présent. Et surtout ce résumé n est pas certifié 100% sans faute! Introduction Théorie trichromatique : principe (utilisé notamment en photographie, en cinéma, et en télévision) permettant de reproduire un très grand nombre de couleurs à partir de trois couleurs primaires. L espace de rouge étant parfois négative, il y a donc certains couleurs qui sont impossibles à décrire (brun). A l approche de 0% des 3 couleurs, on a le noir. On ne voit jamais la couleur de l objet, on ne voit que la couleur réfléchie de l objet. Caméra Une caméra projette un monde 3D sur une image 2D. On veut avoir un modèle pour cette projection. Exemple simple : Pinhole Camera (projection centrale) Tous les rayons lumineux se concentrent en un seul point (camera center) avant d'arriver sur le plan de l'image. Vocabulaire : centre de la caméra: centre de projection plan de l'image axe principal: ligne partant du centre de la caméra et perpendiculaire au plan de l'image point principal : intersection entre l'axe principal et l'image distance focale f

3 Correspondance entre un point de l'espace X = et sa projection dans le plan de l'image x = : x = f et y = f Utilisation des coordonnées homogènes pour exprimer plus simplement la projection. P est la matrice de projection (camera projection matrix) et est souvent décomposée de cette façon : P = K [I 0] K = diag(f, f, 1) est la matrice d'étalonnage (calibration) de la caméra. Les points du monde 3D peuvent être exprimés dans un système de coordonnées différent de celui de la caméra. Les deux systèmes sont liés par une rotation et une translation. La matrice P a donc 11 degrés de liberté : 5 d'étalonnage, propre _a la caméra _ paramètres intrinsèques 3 de translation et 3 de rotation _ paramètres extrinsèques Pratiquement, on a un système linéaire surdéterminé Ap = 0 avec des données non-exactes à cause du bruit : minimisation par les moindres carrées (cela revient _a réaliser une décomposition en valeurs singulières). 3D Geometry La visualisation 3D comporte deux aspects importants: détection de points caractéristiques, propres à la structure des objets. la présence ou non de mouvement de la caméra ou des éléments de la scène Ces deux aspects sont intimement liés! Il y a plusieurs moyens d'obtenir la perspective d'une scène par caméras: Méthodes directes: caméra profondeur (on parle de caméra 3D) vision stéréoscopique (au moyen de deux caméras) Méthodes indirectes (avec 2 ou plusieurs cameras): depth from motion depth from focus depth from shadow Deux technologies pour les caméras profondeurs : mesures par temps de vol (time-of-flight)

4 projection d'une mire et capture des déformations par une caméra hors axe d'émission (Kinect de Microsoft) Pour la vision stéréoscopique, on doit calculer la disparité : décalage artificielle qui approxime la distance. Pour deux caméras qui ne différent que par leur position horizontale, la différence horizontale entre deux points correspondants donne une information de profondeur. Il faut faire attention que les caméras et leur alignement ne sont pas parfaits! Il faut aussi faire attention de ne pas trop éloigné les 2 caméras, sinon on ne voit plus les mêmes points. Vocabulaire: Epipole: point d'intersection de la ligne joignant les centres des caméras avec le plan de l'image Ligne de base: ligne joignant les épipoles Plan épipolaire: plan contenant la ligne de base Ligne épipolaire: intersection entre un plan épipolaire et le plan de l'image La matrice fondamentale F est une matrice 3 3 qui lie des points correspondants dans des images stéréo. Fx donne la ligne épipolaire sur laquelle se trouve le point dans l'autre image.

5 Fx = 0 pour toutes paires de points correspondants x <->. Pour la reconstruction d une scène 3D, on doit : 1. Trouver des correspondances entre les deux images 2. Calculer la matrice fondamentale 3. Calculer les caméras à partir de la matrice fondamentale Attention! Cette reconstruction n'est bonne qu'à une transformation projective près. Background substraction Hypothèse principale : caméra doit être fixe. Applications : techniques de suivi d objets et la vidéosurveillance. Les difficultés principales sont : Changements d illuminations : lents (cycle jour/nuit) et brutaux (éclairage artificiel, nuages dans le ciel) Mouvements de la caméra (vent), dans l arrière-plan (feuilles des arbres) Changements d apparence de l arrière-plan (voitures parquées sur un parking) Méthodes élémentaires : Approche naïve : Détecter l avant-plan en comparant les valeurs des pixels de l image courante à ceux d une image de référence (background). Les technique élémentaires peuvent mener `a de bons résultats dans des conditions très contrôlées. Mais La quasi intégralité des techniques ignorent les corrélations entre les valeurs de pixels voisins et relèguent intégralement au post-processing la tâche de donner une cohérence spatiale aux résultats. Post-processing classique : Analyse des composantes connexes (connected components) Filtrage élémentaire de celles-ci (ex : sélection si surface > Th) Bouchage des trous Détection / suppression de l ombre Opérations morphologiques (ouverture, fermeture, érosion, dilatation) Tracking Technique avancé : Désormais : Image de référence -> modèle stochastique pour chaque pixel. Plan : Une distribution gaussienne par pixel Filtrage adaptatif en chaque pixel (Kalman) Mixture de gaussiennes pour chaque pixel Méthodes à base de noyaux

6 On modélise pour chaque pixel la densité de probabilité des valeurs observées par une distribution gaussienne. On effectue alors un seuillage par rapport à la moyenne en fonction de l ecart-type. Les paramètres de ces distributions peuvent éventuellement être prédits grâce à l emploi d un filtre adaptatif (Kalman). Exemple de modèles : Gaussian Mixture Model, Kernel Density Estimation Methods, Consensus Le consensus : Pour chaque pixel, on garde un historique des valeurs observées (ex : les 100 dernières valeurs). Un pixel fait partie du background si sa valeur courante est proche d un nombre suffisant d éléments de son historique. Conclusion des techniques avancées : Grand nombre de techniques disponibles Choix de la solution en fonction de l application Rapidité d exécution primordiale Défi principal : robustesse Feature detection Extraction de traits caractéristiques et détection de contours. Problème de la position d'un point de contour. Pour les opérateurs de dérivées, on a un double problème: 1. approximer au mieux la dérivée 2. éviter une amplification excessive du bruit Ce dilemme est insoluble! L'utilisation des masques de convolution pose quelques problèmes pratiques: Effets de bord

7 Modifications de la dynamique de valeurs Facteurs de normalisation Solution pour l effet de bord : placement d'une valeur hors image par défaut miroirisation, qui consiste à miroiriser les valeurs de l'intérieur vers l'extérieur de l'image périodisation de l'image {on retrouve alors les pixels de la gauche contre les pixels du bord droit} recopiage des valeurs du bord de l'image Détecteur d Harris : Cornerness is defined as det(m) trace(m) Laplacian of Gaussian : Laplacian est un des meilleurs détecteurs et Gaussian est un des meilleurs filtres Principes: application d'un filtre gaussien calcul du laplacien de l'image filtrées détection des points de passage par zéro Paramètre: variance du filtre gaussien

8 Template and feature matching Template-based matching (or global matching) : Use of an entire template. Based on templates which are samples or examples. Their size conditions the computation time. Templates can be expressed in terms of eigenspaces (Espaces propres). The metric is generally a sum-comparing metric (like the Sum of Absolute Differences [SAD] or cross-correlation). Feature-based matching. Steps: Features are edges, corners, etc Match-measures are metrics to find the best matching location Features need to be strong". select a set of robust features (corners ) in the reference frame (or sub-frame) compute the same set of features in the target image establish the relationship between the two sets of features. Many strategies are possible:

9 global optimization (recherche exhaustive) local optimization RANSAC algorithm (au hasard) Les histogrammes nous donnent le nombre d occurrence dans notre image de référence. Challenge: detect lines in an image Difficulty: matching a set of points arranged as a line Idea: instead of considering the family of points (x, y) belong to a line y = ax + b, consider the two parameters 1. the slope parameter a (but a is unbounded for vertical lines) 2. the intercept parameter b Le principe qui sous-tend la transformée de Hough est qu'il existe un nombre infini de lignes qui passent par un point, dont la seule différence est l'orientation (l'angle). Le but de la transformée est de déterminer lesquelles de ces lignes passent au plus près du schéma attendu. Afin de déterminer que deux points se trouvent sur une même ligne potentielle (attention deux points sont toujours alignés), on doit créer une représentation de la ligne qui permet une comparaison dans ce contexte. The parameter r represents the distance between the line and the origin (la norme du vecteur). The parameter is the angle of the vector from the origin to this closest point (l angle). En transformant toutes lignes possibles qui passent par un point, c est-à-dire en calculant la valeur de ρ pour chaque θ, on obtient une sinusoïde unique appelée espace de Hough. Si les courbes associées à deux points se coupent, l'endroit où elles se coupent dans l'espace de Hough correspond aux paramètres d'une droite qui relie ces deux points.

10 Algorithm for detecting lines : 1. Detect edges in the original image. 2. Select strong edges for which there is enough evidence that they belong to lines. 3. For each point, accumulate values in the corresponding bins of the Hough space. 4. Threshold the accumulator function to select bins that corresponds to lines in the original image. 5. Draw the corresponding lines in the original image.