Introduction à OpenCV

Transcription

1 Introduction à OpenCV Design III : Intégration Département de génie électrique, génie informatique Faculté des sciences et de génie Université Laval Hiver 2012

2 OpenCV, c est... un framework très puissant pour la vision artificielle ; une compilation d algorithmes intéressants pour la vision et faciles à utiliser ; des binaires optimisés pour augmenter la performance au maximum ; une documentation bien écrite avec de nombreux exemples pour se familiariser avec son fonctionnement.

3 OpenCV, ce n est pas... un magicien : si vos images sont mauvaises, le résultat le sera aussi ; un homme à tout faire : OpenCV n est pas utile en dehors de la vision (positionnement, asservissement des moteurs) ; un supercalculateur : traiter des images en 1600x1200 donnera un superbe résultat, mais au prix d une surcharge de calcul importante ; un correcteur automatique : si les mathématiques derrière vos algorithmes sont incorrectes, le résultat ne le sera pas non. Utiliser des algorithmes préimplémentés est intéressant, mais il faut tout de même comprendre ce qu ils font...

4 d une version optimisée OpenCV est préinstallé en version 2.2 sur les images Fedora Linux qui vous sont fournies. Sans être nécessaire, il peut être intéressant d utiliser une version personnalisée (surtout pour la rapidité) : 1 Installer les paquets requis : # yum install cmake numpy gtk2-devel tbb tbb-devel 2 Télécharger le code source à l adresse : 3 Configurer et compiler le projet avec Cmake, par exemple : # mkdir build-release && cd build-release # cmake -DCMAKE_BUILD_TYPE=RELEASE -DCMAKE_INSTALL_PREFIX=/usr/local \ -DWITH_SSE3=ON -DWITH_SSSE3=ON -DWITH_TBB=ON.. # make -j 2 # make install 4 Lier vos programmes à la version optimisée (/usr/local/lib, /usr/local/include, etc.) Binaires disponibles pour Windows (Visual Studio), mais attention à la compatibilité avec le MacMini!

5 USB Video-device Class et paramétrage UVC est un standard pour la vidéo sur USB ; il supporte un certain nombre de contrôles utiles au projet, en particulier Exposure, Gain, White balance, Backlight compensation, Contrast et Brightness. La caméra utilisée est configurée par défaut comme une webcam : la plupart des réglages sont automatiques. Ces réglages automatiques ne sont pas souhaitables ici (petites surprises en perspectives). Les réglages devraient être fixés avant la calibration et l établissement des seuils. Ces paramètres peuvent en général être ajustés directement dans OpenCV (VideoCapture.set en C++ ou cvsetcaptureproperty en C), ou avec un utilitaire en ligne de commande, uvcdynctrl (yum install uvcdynctrl).

6 Limites de la calibration Une seule caméra (un seul point de vue) ne permet pas de voir réellement en 3D Vous ne pouvez pas utiliser Par contre, il est possible de calibrer la caméra de façon à obtenir la transformation entre le plan caméra et un autre plan (dans ce cas-ci, la table de jeu) Les coordonnées obtenues ne seront valables que si elles composent des objets sur le plan de la table Vous n avez pas besoin de calibration pour : Segmenter une image Identifier des distances relatives en 2D, sous certaines conditions (par exemple la taille du dessin puisque le carré vert qui l entoure fournit une référence)

7 Logiciels ou utilitaires de calibration Afin d obtenir les paramètres intrinsèques et extrinsèques de votre caméra, vous devez la calibrer. Plusieurs méthodes peuvent être utilisées : Utiliser les programmes fournis sur le site du cours Utiliser les fonctions (fonctions calibratecamera / calibratecamera2) Tout faire à la main (mauvaise idée) Utilisation d une cible de calibration :

8 Exemple de calibration avec OpenCV I 1 Acquisition de multiples vues de la cible de calibration La cible doit être à plat et les orientations et positions doivent être variées Pour une meilleure précision Il est important de s assurer que la position des points détectés et leur ordre sont corrects (autrement, la calibration donnera de mauvais résultats). Pour un damier, voir les fonctions findchessboardcorners et drawchessboardcorners. Le nombre d images à utiliser n est pas fixé, mais la précision augmente avec le nombre de points de correspondance (100 points est un minimum).

9 Exemple de calibration avec OpenCV II 2 Acquisition de la vue de la cible à partir de la position finale de la caméra On remarque que cette image n est pas une bonne prise de vue (les coins sont mal détectés)

10 Exemple de calibration avec OpenCV III 3 Calculer les paramètres intrinsèques (indépendants du point de vue) et extrinsèques (une matrice de transformation par image de calibration) Exemple de sortie, format OpenCV (matrice caméra) camera matrix :!!opencv-matrix rows : 3 cols : 3 dt : d data : [ e+02, 0., e+02, 0., e+02, e+02, 0., 0., 1. ] Exemple de sortie, format OpenCV (matrice des paramètres extrinsèques) extrinsic parameters :!!opencv-matrix rows : 10 cols : 6 dt : d data : [ e-01, e-02, e-02, e+01, e+00, e+01,... La matrice des paramètres extrinsèques à utiliser est celle correspondant à l image telle que vue par la caméra lorsque sur le robot.

11 Exemple de calibration avec OpenCV IV 4 Charger et utiliser les paramètres calculés dans OpenCV. Plusieurs choix sont possibles : Intégrer ces paramètres directement au code (chaque changement de paramètre nécessite une recompilation) : peu pratique, mais simple. Utiliser la classe FileStorage d OpenCV, qui peut lire des fichiers XML ou YAML spécialement formatés : cv::filestorage fdata("camera.yml", cv::filestorage::read); cv::mat intrinseques, extrinseques; fdata["camera_matrix"] >> intrinseques; fdata["extrinsic_parameters"] >> extrinseques;

12 Suppression de la distorsion radiale I La distorsion radiale est un artefact dû aux lentilles. Fait apparaître courbes les lignes droites (de façon particulièrement marquée sur les bords de l image). La Logitech C905 (votre caméra) ne possède pas une distorsion radiale importante. Toutefois, cela peut faire la différence pour la reconnaissance de contours... De, la plupart des algorithmes de calibration incluent la possibilité de calculer les coefficients de distorsion. OpenCV fournit des fonctions permettant de corriger les images à partir de ces coefficients (voir remap, initundistortrectifymap et undistort).

13 Suppression de la distorsion radiale II Image avec distorsion radiale (la ligne rouge est un segment de droite qui devrait être confondu avec la séparation blanc/vert) Image une fois la distorsion radiale supprimée (on remarque les portions noires en bas et sur les côtés de l image, qui sont inhérentes à la transformation effectuée pour supprimer la distorsion)

14 Liste de fonctions disponibles Capture directe à partir de la caméra (classe VideoCapture en C++, cvcapturefromcam en C) Érosion et dilatation (erode et dilate) Ouverture et fermeture (open et close) Seuillage (threshold et adaptivethreshold) Filtrage (utile par exemple pour rehausser les contours) Transformations géométriques (remap), permettant par exemple de redresser une image Découpage en régions (par exemple minarearect et fitellipse), pratique pour la segmentation Affichage et acquisition vidéo (module highgui), très utile pour le débogage Note importante : pour afficher une image dans une fenêtre OpenCV, la fonction imshow doit être utilisée. Cependant, l affichage n est pas effectif avant l appel à waitkey avec un délai suffisant!

15 Par couleur OpenCV facilite la segmentation d une image. Sauf situation particulière, il est de très loin préférable de travailler en HSV pour segmenter selon la couleur. Deux paramètres principaux pour chaque composant : la valeur recherchée et la tolérance sur celle-ci. Image originale Segmentée (bleu) Segmentée (vert)

16 Par région Plusieurs algorithmes sont implémentés et peuvent être utilisés directement. Utilisation de l algorithme de Canny de recherche de contours (fonctions canny et findcontours) Ces contours peuvent par la suite être segmentés (extraction de leur position) Attention à l ajustement du seuil (threshold)! Image originale Contours trouvés Mauvais seuil

17 Recherche des coins (Harris) OpenCV implémente le détecteur de Harris (cornerharris). Ce détecteur peut être pratique pour une première estimation, mais attention aux problèmes de détection! Seuil du détecteur difficile à définir de manière absolue... La fonction goodfeaturestotrack permet d obtenir un nombre de points inférieur, mais fiable. Notez que certains coins internes ne sont pas détectés...

18 Il existe une multitude d autres fonctions utiles... Une excellente référence : Learning OpenCV : Computer Vision with the OpenCV Library (disponible en ligne à la bibliothèque de l Université Laval) Fouillez dans la documentation (y compris les exemples)!