Séminaire SED «Introduction à» Franck Labat, équipe RealOpt. 8 Novembre 2010

Transcription

1 1 Séminaire SED «Introduction à» Franck Labat, équipe RealOpt. 8 Novembre 2010

2 Le plan 2 La suite logicielle CMake Description Philosophie Fonctionnement Mis en place d un projet sous CMake Panorama des «Build Automation»

3 La suite logicielle CMake - Description 3 Développée par la société Kitware. Open-source, multiplateforme, extensible. Initialement développée en 1999 pour ITK. CMake fait suite à pcmaker notamment sur le projet VTK.. Aujourd hui CMake est notamment utilisée par KDE, OGRE, Blender, Second Life, MySQL, RobotCub.

4 La suite logicielle CMake Description Composants de la suite 4 CDash (Web) CMakeLists.txt Ctest Scripts Modules Cmake (*.cmake) CMake CPack CTest Sources CMake (C++)

5 La suite logicielle CMake Philosophie 5 Des scripts de haut niveau pour le développeur qui définissent de manière abstraite le build system, sans considération d OS, host, path etc. L utilisateur ne doit pas modifier ces scripts Conçu à partir du CMakeLists. L interface entre les scripts de haut niveau et l OS/host cible, l utilisateur peut configurer le build system au travers du cache Conçu à partir du cache. L utilisateur ne doit jamais avoir à modifier ces fichiers CMakeLists.txt cmake. cmakesetup.exe CMakeCache.txt ccmake. make edit_cache cmake-gui Fichier de génération make Xcode MS Visual studio Eclispe, Netbeans

6 La suite logicielle CMake Fonctionnement Les objets CMake + les commandes sur ces objets 6 Cibles Variables Répertoires Fichiers sources Commandes CMake

7 La suite logicielle CMake Fonctionnement Diagramme de classe de CMake 7 Contrôle le processus CMake cmake 1 cmglobalgenerator Contrôle la génération pour un OS donné Produit un fichier de génération pour 1 générateur donné Parse toutes les informations d un CMakeLists.txt, et stocke tous les objets CMake. * cmlocalgenerator 1 cmcommand Classe dont hérite toutes les commandes de CMake cmmakefile

8 Le plan 8 La suite logicielle CMake Mise en place d un projet sous CMake CMake, Build system CPack, Paquetages CTest, Tests CDash, Intégration continue Panorama des «Build Automation»

9 Build System Les générateurs 9 cmake G"generateur"

10 Build system Les fichiers sources 1 0 Un fichier source définit par son extension le langage utilisé. Les fichiers d en-tête ne doivent pas nécessairement être déclarés, seul leur emplacement doit être fourni. CMake calcule automatiquement les dépendances entre les fichiers sources et en-tête.

11 Build system - Mon projet 1 1 Soit un petit projet PVersusNP en C ++ sous Linux avec comme générateur le «Makefile Unix» (celui par défaut): PVersusNP.cpp PVersusNP.h

12 Build system - Mon projet Le fichier en-tête et le source 1 2 #ifndef PVERSUSNP_HPP #define PVERSUSNP_HPP #include <iostream> struct Problem{}; struct P: Problem{}; struct NP : Problem{}; #include <stdlib.h> #include "PVersusNP.hpp" using namespace std; int main(){ P p; NP np; cout << "The answer to the million dollar: " << endl; ///@todo Implement later bool operator==(const P& p, const NP &np) { std::cout << "P is not equal to NP " << std::endl; return false; } #endif //PVERSUSNP_HPP } if(p == np) return EXIT_SUCCESS; return EXIT_FAILURE;

13 Build system Les cibles 1 3 Une cible décrit une bibliothèque, un exécutable, ou un fichier que l on souhaite produire. L utilisateur peut définir des cibles personnalisées et les étapes pour la générer. add_custom_target(<name> COMMANDS <command 1>...<command n> SOURCES <src 1> <src n>)

14 Build system Mon projet Les cibles 1 4 CC=g++ CFLAGS=-W -Wall all: PVersusNP cmake_minimum_required (VERSION 2.6) project(pversusnp CXX) add_executable (PVersusNP PVersusNP.cpp) La cible PVersusNP: PVersusNP.o ${CC} o PVersusNP PVersusNP.o PVersusNP.o: PVersusNP.cpp PVersusNP.hpp ${CC} c PVersusNP.cpp \\ PVersusNP.hpp)

15 Build system - Mon projet Je veux ajouter un fichier source 1 5 cmake_minimum_required (VERSION 2.6) project(pversusnp) add_executable (PVersusNP PVersusNP.cpp PVersusNPComplete.cpp) PVersusNP CMakeLists.txt PVersusNP.hpp PVersusNP.cpp PVersusNPComplete.cpp PVersusNPComplete.hpp

16 Build system Les répertoires 1 6 Il est possible de rajouter des sous-répertoires, à condition que ceux-ci contiennent un fichier CMakeLists.txt Les objets définis dans le répertoire supérieur peuvent être hérités sous certaines conditions include_directories(<sub-directory 1> <sub-directory n>)

17 Build system - Mon projet Ajouter un répertoire et un sous-projet 1 7 PVersusNP CMakeLists.txt PVersusNP.hpp PVersusNP.cpp PVersusNPComplete CMakeLists du sous projet CMakeLists.txt PEqualNP.cpp PEqualNP.hpp

18 Build system - Mon projet Le CMakeLists.txt du projet et du sous-projet 1 8 cmake_minimum_required (VERSION 2.6) project(pversusnp) add_subdirectory(pversusnpcomplete) add_executable (PVersusNP PVersusNP.cpp) Inclusion du sousrépertoire Déclare la bibliothèque comme dépendance target_link_libraries(pversusnpcomplete) cmake_minimum_required (VERSION 2.6) project(pversusnpcomplete) Construira une bibliothèque dynamique add_library(pversusnp Complete SHARED PVersusNPComplete.cpp)

19 Build system Mon projet Interlude - Le mode «out of build» 1 9 CMake produit de nombreux fichiers temporaires (exe,.o, ) On peut mettre tous ces fichiers dans un répertoire de build cd Build cmake.. PVersusNP CMakeLists.txt Build PVersusNP.hpp PVersusNP.cpp PVersusNPComplete CMakeLists.txt PEqualNP.cpp PEqualNP.hpp

20 Build system Les modules CMake 2 0 Un module permet d encapsuler l extension de CMake, en ajoutant des des variables, des commandes etc. Les modules standards sont installés avec CMake et ils sont maintenus par Kitware et la communauté Un fichier module CMake est de la forme «module.cmake» L utilisateur peut créer ses propres modules et les inclure

21 Build system Les modules Cmake Panorama 2 1 Extension AddFileDependancies CMakeForceCompiler include(module) Vérification CheckFortranFunctionExists Check Outils Externes CTest CPack Paquets FindBoost FindCuda

22 Build System Mon projet Modules - Je veux utiliser boost::filesystem 2 2 Un paquet est un module qui trouve les dépendances d un logiciel tierce, on peut également faire include(findboost) mais on ne bénéficie plus des options avancées de find_package cmake_minimum_required (VERSION 2.6) project(pversusnp) find_package(boost COMPONENTS filesystem REQUIRED) include_directories(${boost_include_dirs}) add_subdirectory(pversusnpcomplete) add_executable (PVersusNP PVersusNP.cpp) target_link_libraries(pversusnpcomplete ${Boost_FILESYSTEM_LIBRARY})

23 Build system - Mon projet Modules - Je veux faire du OpenMP 2 3 cmake_minimum_required (VERSION 2.6) project(pversusnp) find_package(boost) include(findopenmp) On ajoute le flag OpenMP au compilateur si OpenMP est supporté if(openmp_found) set(cmake_cxx_flags "${CMAKE_CXX_FLAGS} ${OpenMP_CXX_FLAGS}") endif() include_directories(${boost_include_dirs}) add_subdirectory(pversusnpcomplete) add_executable (PVersusNP PVersusNP.cpp) target_link_libraries(pversusnpcomplete)

24 Build System Les variables CMake 2 4 Les variables sont typées implicitement (réel, caractère, chaîne de caractères, booléen) Les variables peuvent être positionnées en ligne de commande Chaque variable a un scope Le développeur peut déclarer de nouvelles variables, notamment des variables du cache qui seront modifiables par les utilisateurs

25 Build System Les variables Cmake Panorama Comportement CMAKE_BUILD_TYPE BUILD_SHARED_LIBS 2 5 set(variable valeur) Ou cmake D"variable=valeur" Description CMAKE_HOST_SYSTEM UNIX Langage CMAKE_CXX_SOUCE_FILE_EXTENSIONS CMAKE_Fortran_FLAGS_DEBUGS Contrôle EXECUTABLE_OUTPUT_PATH CMAKE_INCLUDE_CURRENT_DIR Information CMAKE_GENERATOR PROJECT_NAME

26 Build system - Mon projet Variables - Je veux faire du OpenMPI et pas de OpenMP 2 6 cmake_minimum_required (VERSION 2.6) project(pversusnp) set(cmake_cxx_compiler mpicxx) On déclare que le compilateur est celui de OpenMPI find_package(boost) include_directories(${boost_include_dirs}) add_subdirectory(pversusnpcomplete) add_executable (PVersusNP PVersusNP.cpp) target_link_libraries(pversusnpcomplete mpi) On ajoute la bibliothèque OpenMPI comme dépendance

27 Build system - Mon projet Variables du cache - Bon en fait je veux pouvoir désactiver OpenMPI 2 7 cmake_minimum_required (VERSION 2.6) Documentation de notre variable du cache project(pversusnp) set(openmpi CACHE BOOL "Enable/Disable OpenMPI") if(openmpi) else() endif() set(cmake_cxx_compiler mpicxx) set(cmake_cxx_compiler g++) add_definitions(-dmpi) find_package(boost) include_directories(${boost_include_dirs}) add_subdirectory(pversusnpcomplete) add_executable (PVersusNP PVersusNP.cpp) target_link_libraries(pversusnpcomplete mpi)

28 Build system - Mon projet Bon en fait je veux pouvoir désactiver OpenMPI On modifie le cache par la commande ccmake. 2 8 On retrouve la documentation de notre variable On tape entrer, haut ou bas pour passer de On à Off puis entrer, touche C, et touche G pour générer à nouveau le cache et les Makefile

29 Build system Les propriétés 2 9 Une propriété est un attribut modifiable pour tout type d objet dans CMake (cibles, variables etc.) Une propriété permet donc de modifier le comportement du build system suivant différents scope L utilisateur peut définir de nouvelles propriétés set_property(type <name> PROPERTY <name> [values])

30 Build system Les propriétés Panorama Cache 3 0 ADVANCED HELPSTRING Fichier Source COMPILE_DEFINITIONS_<CONFIG> LABELS Test PASS_REGULAR_EXPRESSION TIMEOUT Cible OUTPUT_NAME_<CONFIG> COMPILE_DEFINITIONS_<CONFIG> Répertoire SCOPE Global ADDITIONAL_MAKE_CLEAN_FILES COMPILE_DEFINITIONS ALLOW_DUPLICATE_CUSTOM_TARGETS GLOBAL_DEPENDS_NO_CYCLES

31 Build system Mon projet Propriétés - Je veux mettre le nom de mon exécutable en français 3 1 Chaque type d objet a sa commande pour modifier les propriétés cmake_minimum_required (VERSION 2.6) project(pversusnp) set(cmake_cxx_compiler mpicxx) find_package(boost) include_directories(${boost_include_dirs}) add_subdirectory(pversusnpcomplete) add_executable (PVersusNP PVersusNP.cpp) Le nouveau nom en français de notre exécutable, le nom de la cible dans CMake ne change pas, l on a pas à modifier tous nos scripts, c est un exemple de puissance des propriétés dans CMake. set_target_properties(pversusnp PROPERTIES OUTPUT_NAME PestIlEgaleaNP) target_link_libraries(pversusnpcomplete mpi)

32 Build System Les commandes 3 2 Une commande est une fonction qui prend zéro ou plusieurs paramètres, ne renvoie rien, mais modifie le build system par effet de bord Les commandes définissent un nouveau scope qui hérite seulement du scope global Le développeur peut ajouter une nouvelle commande,il dispose de variables, de commandes standards, de structures de contrôle (if, for, while) pour cela function(name [ARGUMENTS]) { } endfunction()

33 Build System- Mon projet Commandes - Je veux préparer l installation de mon logiciel 3 3 Cela ajoute une cible install au Makefile: sudo make install cmake_minimum_required (VERSION 2.6) project(pversusnp) set(cmake_cxx_compiler mpicxx) find_package(boost) include_directories(${boost_include_dirs}) add_subdirectory(pversusnpcomplete) add_executable (PVersusNP PVersusNP.cpp) target_link_libraries(pversusnpcomplete mpi) install(pversusnp PVersusNPComplete RUNTIME DESTINATION bin LIBRARY DESTINATION lib ARCHIVE DESTINATION lib/static) Suivant que la bibliothèque est dynamique et suivant l OS, elle ne saura pas stocker au même endroit

34 Build system Mon projet Je veux encapsuler le support de MPI 3 4 cmake_minimum_required (VERSION 2.6) project(pversusnp) Définition function(build_mpi_application) set(cmake_cxx_compiler mpicxx) files(src GLOB *.cpp) add_executable(${project_name} mpi ${SRC}) target_link_libraries(mpi) endfunction() find_package(boost) include_directories(${boost_include_dirs}) add_subdirectory(pversusnpcomplete) Appel build_mpi_application() target_link_libraries(pversusnpcomplete)

35 Build system Mon projet Je veux ajouter un module pour le support de MPI 3 5 Nouveau répertoire de nos propres modules PVersusNP CMakeLists.txt Build PVersusNP.hpp PVersusNP.cpp PVersusNPComplete CMake CMakeLists.txt PEqualNP.cpp PEqualNP.hpp MyOpenMPI.cmake

36 Build system Mon projet Je veux ajouter un module pour le support de MPI 3 6 cmake_minimum_required (VERSION 2.6) project(pversusnp) set(cmake_module_path ${CMAKE_MODULE_PATH} ${CMAKE_SOURCE_DIR}/CMake) include(myopenmpi) find_package(boost) include_directories(${boost_include_dirs}) add_subdirectory(pversusnpcomplete) build_mpi_application() target_link_libraries(pversusnpcomplete) Chemin vers le répertoire du nouveau module Inclusion du nouveau module cmake_minimum_required (VERSION 2.6) function(build_mpi_application) set(cmake_cxx_compiler mpicxx) files(src GLOB *.cpp) add_executable(${project_name} mpi ${SRC}) target_link_libraries(mpi) endfunction()

37 Paquetages 3 7 CPack fonctionne comme CMake avec la même syntaxe, les mêmes objets, les générateurs sont le format rpm, zip, nsis etc. Intégration à CMake, ou configuration indépendante en créant un fichier spécifique CPackConfig.cmake dans le répertoire courant du projet include(cpack) cpack G "generateur"

38 Paquetages Mon projet 3 8 PVersusNP Ajout du fichier pour CPack CMakeLists.txt Build PVersusNP.hpp PVersusNP.cpp PVersusNPComplete CPackConfig.cmmake CMake CMakeLists.txt PEqualNP.cpp PEqualNP.hpp MyOpenMPI

39 Paquetages Mon projet Fichier CPackConfig.cmake SET(CPACK_CMAKE_GENERATOR "Unix Makefiles") SET(CPACK_GENERATOR "STGZ;TGZ;TZ") SET(CPACK_INSTALL_CMAKE_PROJECTS "/home/flabat/pversusnp;pversusnp;all;/") SET(CPACK_NSIS_DISPLAY_NAME «PVersusNP") SET(CPACK_OUTPUT_CONFIG_FILE "/home/flabat/cpackconfig.cmake") SET(CPACK_PACKAGE_DESCRIPTION_FILE "/home/flabat/pversusnp/copyright.txt") SET(CPACK_PACKAGE_DESCRIPTION_SUMMARY «Show if P equal to NP or not") SET(CPACK_PACKAGE_EXECUTABLES "PVersusNP") SET(CPACK_PACKAGE_FILE_NAME «PVersusNP-Linux-i686") SET(CPACK_PACKAGE_INSTALL_DIRECTORY "PVersusNP") SET(CPACK_PACKAGE_INSTALL_REGISTRY_KEY "PVersusNP") SET(CPACK_PACKAGE_NAME «PVersusNP") SET(CPACK_PACKAGE_VENDOR «Flabat") SET(CPACK_PACKAGE_VERSION «1") SET(CPACK_PACKAGE_VERSION_MAJOR «0") SET(CPACK_PACKAGE_VERSION_MINOR «0") SET(CPACK_PACKAGE_VERSION_PATCH "0") SET(CPACK_RESOURCE_FILE_LICENSE "/home/flabat/pversusnp/copyright.txt") SET(CPACK_RESOURCE_FILE_README "/home/flabat/pversusnp/templates/cpack.genericdescription.txt") SET(CPACK_RESOURCE_FILE_WELCOME "/home/flabat/pversusnp/templates/cpack.genericwelcome.txt") SET(CPACK_SOURCE_GENERATOR "TGZ;TZ") SET(CPACK_SOURCE_OUTPUT_CONFIG_FILE "/home/flabat/pversusnpbin/cpacksourceconfig.cmake") SET(CPACK_SOURCE_PACKAGE_FILE_NAME "PVersusNP-1.0") SET(CPACK_SOURCE_STRIP_FILES "") SET(CPACK_STRIP_FILES «PVersusNP") SET(CPACK_SYSTEM_NAME "Linux-i686") SET(CPACK_TOPLEVEL_TAG "Linux-i686") 3 9

40 Le driver de tests CTest 4 0 CTest est un driver de test, il permet donc d automatiser la conduite de tests CTest bénéficie de la même syntaxe et des même objets que CMake CTest peut être intégré à CMake, ou indépendant avec des scripts CTest: include(ctest) ctest S script.ctest

41 Le driver de test CTest Mon projet Je veux tester si P = NP cmake_minimum_required (VERSION 2.6) 4 1 project(pversusnp) include(ctest) set(cmake_cxx_compiler mpicxx) find_package(boost) find_package(qt4) findpackage(openmp) include(${qt_use_file}) include_directories(${boost_include_dirs}) add_subdirectory(pversusnpcomplete) add_executable (PVersusNP PVersusNP.cpp) target_link_libraries(pversusnpcomplete ${QT_LIBRARIES} mpi) install(pversusnp PVersusNPComplete RUNTIME DESTINATION bin LIBRARY DESTINATION lib ARCHIVE DESTINATION lib/static) La commande ctest dans le répertoire courant lancera le test add_test(name Test_PVersusNP COMMAND PVersusNP)

42 Serveur d intégration continue CDash 4 2 CDash est un Dashboard, c est un serveur Web avec un module de non-régression CDash ne lance pas les tests, il analyse les résultats des tests envoyés par CTest au format XML 3 modes de soumission Continuous, Nightly, Experimental, soit respectivement en continu, une fois chaque nuit, ou à la demande CDash permet d automatiser les tests, le profilage mémoire, la couverture de code, l envoie de mails en cas d échecs etc

43 Serveur d intégration continue CDash 4 3 Chaîne d intégration continue Exemple d une page web CDash

44 Intégration continue Mon projet Je veux mettre mon projet sur CDash 4 4 S inscrire

45 Intégration continue Mon projet Je veux mettre mon projet sur CDash 4 5 Télécharger et mettre à la racine du projet le fichier CTestConfig.cmake

46 Intégration continue Mon projet Je veux mettre mon projet sur CDash 4 6 cmake. make Experimental Télécharger et mettre à la racine du projet Sur le terminal

47 Intégration continue Mon projet Je veux mettre mon projet sur CDash 4 7 Télécharger et mettre à la racine du projet Résultat

48 Le plan 4 8 La philosophie de la suite logicielle CMake Mis en place d un projet sous CMake Panorama des «Build Automation» SCons GNU Autotools

49 SCons 4 9 Python est disponible sur de nombreuses plateformes et c est un langage très puissant Les plus Les moins Scons prend des sources et produit un binaire de bout en bout pas de délégation, donc plus compliqué Il faut installer Python. Et les développeurs de SCons ne sont pas maîtres des évolutions de Python

50 Autoconf 5 0 La partie utilisateur est puissante et simple Le plus Les moins La partie développeur est laborieuse et source d erreur

51 Références 5 1 Site de CMake: Le Wiki de CMake: Le livre Mastering CMake Fourth Edition Hello World pour Pipol avec CMake:

52 Questions? 5 2 CMake peut-il s écarter du chemin des build automation? Oui, CMake définit des commandes qui permettent quelque soit l OS et le générateur de manipuler des fichiers, des répertoires, d appeler des programmes extérieurs à CMake, de positionner des variables d environnement... etc. CMake peut -il être utiliser sur des environnements exotiques (comme c est le cas des Autotools) Oui, il est open-source, on peut télécharger les sources, et compiler CMake sur tout système disposant d un compilateur C++ récent. On peut alors commencer à utiliser les CMakeLists.txt avec les Makefile Unix comme générateur par exemple. De plus CMake fonctionne nativement sous Windows, ce qui n est pas le cas des Autotools.