Outils et solutions libres pour la R&D Atelier OPENCV 1er juillet 2010 Samuel ROUXEL Le CRT CRESITT est soutenu par

Transcription

1 Outils et solutions libres pour la R&D Atelier OPENCV Samuel ROUXEL Le CRT CRESITT est soutenu par

2 Système de Vision 2

3 Système de Vision 3

4 Open Computer Vision Library Développée par Intel en 1999 (v ) Bibliothèque d'outils de vision > 500 fonctions Fonctions optimisées pour processeurs Intel payantes Intel Integrated Performance Primitives (IPP) Maintenue par l'équipe willow garage Version actuelle v2.1 (avril 2010) Codage C/C++ OS supportés : Windows, Linux, MacOS (32,64bits) 4

5 Licence BSD (Berkeley Software Distribution license) Licence libre de distribution de logiciel, Autorisation d'inclure le code ou partie dans un produit propriétaire ou libre, commercial ou non, Pas d'obligation d'ouvrir le code source du produit, Pas d'obligation de fonctionnement de tout ou partie du programme, Possibilité de passer le code sous licence GPL sans accord des auteurs, Obligation de faire apparaître la licence si redistribution. 5

6 Installation / utilisation Linux - Installation via la distribution (synaptic) - Installation manuelle (cmake) - Lier les librairies à la compilation Windows x - Librairies pré-compilées pour Visual Studio - Installation manuelle (cmake+choix compilateur) 6

7 7

8 Que peut-on faire? Traitements Transformations Analyse (Histogramme et Matching) Détection, suivi (Motion, Tracking) IHM Gestion de Caméra & Calibration Vision et projection 3D Apprentissage (Haar Classifier) 8

9 5 librairies CV CVAUX CXCORE HIGHGUI ML 9

10 5 librairies CV Traitement image et outils de vision Opérations morphologiques Filtrage Transformations géométriques Histogramme Détection de caractéristiques Détection de mouvement et suivi d'objets Analyse structurelle Détection d'objets (Classifieur de Haar) Calibration de caméra et reconstruction 3D CVAUX CXCORE HIGHGUI ML 10

11 5 librairies CV CVAUX Algorithmes expérimentaux (fonctions obsolètes) Modèle de Markov 1D 2D Reconnaissance gestuelle (stéréo vision) Description de texture Tracking visage Tracking 3D Trouver squelette Video surveillance... peu documenté CXCORE HIGHGUI ML 11

12 5 librairies CV CVAUX CXCORE Cœur d' Définition des Structures Manipulations/opérations matricielle. Dessin (création de formes) Manipulation XML Algorithme de Clustering (Classification) Macros (gestion d'erreur, mémoire) HIGHGUI ML 12

13 5 librairies CV CVAUX CXCORE HIGHGUI Interface graphique Interface utilisateur Manipulations des fichiers vidéos/images Utilisation Windows : API Win32 Linux : GTK+ 2.x MacOSX: Carbon Interface de capture Windows : VFW, IEEE1394, MIL, DirectShow, Quicktime Linux : V4L2, IEEE1394, FFMPEG MacOSX: FFMPEG, Quicktime 13

14 5 librairies CV CVAUX CXCORE HIGHGUI ML (Machine Learning) Outils d'apprentissage Fonctions d'apprentissage Fonctions de classification (outils de clustering) 14

15 Les primitives L'image : CvArr CvMat IplImage 15

16 Les primitives L'image Capture via un média : flux webcam 16

17 Les primitives L'image Capture via un média : vidéo (avi+codecs) 17

18 Les primitives L'image Capture à partir d'un fichier image Fichiers supportés : BMP, DIB, JPEG, JPG, JPE, PNG PBM, PGM, PPM, TIFF, TIF, SR, RAS 18

19 Les primitives L'image Accès aux pixels lecture double cvgetreal1d(const CvArr* arr, int idx0); double cvgetreal2d(const CvArr* arr, int idx0, int idx1); double cvgetreal3d(const CvArr* arr, int idx0, int idx1, int idx2); CvScalar cvget1d(const CvArr* arr, int idx0);... écriture void cvsetreal1d(const CvArr* arr, int idx0, double value);... void cvset1d(const CvArr* arr, int idx0, CvScalar value);... 19

20 Les primitives L'image Manipulation matricielle CvMAt *A, *B, *C; CvScalar *S=cvScalar(S); cvadd(a,b,c,0); // C=A+B cvadds(b,s,c,0);// C=B+S cvsub..cvsubs..cvmul..cvdiv cvand(a,b,c,0); // C=A&B cvands(b,s,c,0); // C=B&S cvor..cvors..cvxor..cvnot.. cvmin(a,b,c);//c(i)= min(a(i),b(i)) cvmax(a,b,c); cvcmp(a,b,c,cv_cmp_eq); //C= A op B (op: =,, <,,>, ) cvsum(a); cvdct(a,b,cv_dxt_inverse) cvdft(a,b,cv_dxt_forward,0) 20

21 Fonctions Morphologique Erosion, dilation, squelette,... 21

22 Fonctions Morphologique Erosion, dilation, squelette,... 22

23 Fonctions Détection de contours sample : contours.cpp 23

24 Fonctions Reconnaissance d'objet image à rechercher sample : find_obj.cpp 24

25 Fonctions Reconnaissance d'objet (Matching) image à rechercher sample : find_obj.cpp 25

26 Fonctions Reconnaissance d'objet image à rechercher 26

27 Fonctions Détection de face (classifieur de Haar) sample : face.cpp 27

28 Fonctions Librairie graphique (highgui) cvnamedwindow( "originale", CV_WINDOW_AUTOSIZE); cvshowimage( "originale", img_nvg); cvreleaseimage( &img_nvg ); Apparition de fenêtres ( ); Capture d'événements (clavier, souris) sample : watershed.cpp 28

29 Fonctions Librairie graphique (highgui) Incursion de Trackbars sample : demhist.c 29

30 Référence ''Learning Computer Vision with the Library'', Gary Bradski & Adrian Kaehler, O'REILLY,

31 Outils et solutions libres pour la R&D Atelier OPENCV Samuel ROUXEL Le CRT CRESITT est soutenu par