De EDOS a Mancoosi Les defis des distributions de logiciels libres

Transcription

1 De EDOS a Mancoosi Les defis des distributions de logiciels libres Professeur d Informatique Université Paris Diderot

2 Introduction Le Logiciel Libre n est pas un logiciel comme les autres, il pose des problèmes nouveaux: pas d architecte unique, dévéloppement rapide et distribué, interdependences fortes, grandes masses de code librement accessibles... Focus sur les distributions GNU/Linux: origine, rôle, problématiques Les résultats d EDOS Les enjeux de Mancoosi

3 Avant l arrivée des distributions, le seul moyen d installer des logiciel libres sur les postes clients était: Mais: pas de version standard du poste client besoin de recompiler,... et reconfigurer assez souvent trop long, trop compliqué, trop fragile!

4 Cela a fait naître les distributions comme intermédiaires entre les projets et les utilisateurs

5 Un certain succès...

6 Le role d un éditeur de distribution: upstream tracking : suivre l évolution des sources en général, developer =/= packager! integration : offrir une collection coherente de paquets Pour cela, on doit traiter correctement des dependances testing : à tous les niveaux distribution : diffusion rapide sans casser l éxistant Ce n est pas facile! Les cycles de 6 et 12 mois qu on voit nécéssitent des dizaines d années-homme. Parmi les notions centrales: paquet, avec des outils d administration...

7 Paquets, métadonnéees, et installation { des fichiers Paquet = quelques scripts des metadonnées: Identification Inter-package relationships Dependencies Conflicts. Feature declarations Other Package maintainer Original author Textual descriptions... Example Package: aterm Version: Section: x11 Installed-Size: 280 Maintainer: Göran Weinholt... Architecture: i386 Depends: libc6 (>= ds1-4), libice6 xlibs (>> 4.1.0),... Conflicts: suidmanager (<< 0.50) Provides: x-terminal-emulator Filename: pool/main/a/aterm/......

8 Les paquets, suite Remarques: le composant élémentaire des distributions modernes un système est construit avec l installation d un ensemble de paquets (plusieurs centaines, voir des milliers) Quelques problèmatiques: cohérence des composants (distribution) SE, solveurs... évolution graduelle des installations algo, contraintes,... séléctionner le système voulu dans l espace des possibles SE visualiser l état du système IHM,... maîtriser l évolution du système: installer/désinstaller les composantes, solveurs,... gêrer les interdépendences solveurs, langages repliquer, reproduire un état du système SE, sémantique,..... Chaque ligne est une porte ouverte sur un domaine de recherche!

9 Exemple d installation Phase Trace Commande utilisateur apt-get install aterm 8Reading package lists... Done Building dependency tree... Done The following extra packages will be installed: libafterimage0 >< The following NEW packages will be installed Resolution contraintes aterm libafterimage0 0 upgraded, 2 newly installed, 0 to remove and 1786 not upgraded. Need to get 386kB of archives. >: After unpacking 807kB of additional disk space will be used. ( Do you want to continue [Y/n]? Y Get: 1 testing/main libafterimage [301kB] Recuperation archives Get: 2 testing/main aterm [84.4kB] Fetched 386kB in 0s (410kB/s) Pré-configuration { 8 Selecting previously deselected package libafterimage0. >< (Reading database files and directories currently installed.) Depaquetage Unpacking libafterimage0 (from.../libafterimage0_ _i386.deb)... >: Selecting previously deselected package aterm. Unpacking aterm (from.../aterm_ _i386.deb)... j Setting up libafterimage0 ( )... Setting up aterm ( )... Chacune de ces phases peut échouer... (cela arrive souvent) Configuration il faut identifier et prévenir les erreurs le plus tôt possible

10 Quelques repères Dans les distributions actuelles: savoir si le processus d installation termine sans erreur est un problème indécidable 1 il arrive souvent de recevoir des CD/DVD contenant des paquets qui ne sont pas installables un grand nombre d erreurs rencontrées par les utilisateurs sont dans la résolution de dependances plus de paquets (et sources) dans Debian; plus de relations de dependances 1 Ex: les scripts pre/post-install

11 Les interdépendances sont complexes... Package: gnubg Version: Depends: gnubg-data, ttf-bitstream-vera, libartsc0 (>= ),..., libgl1-mesa-glx libgl1,... Conflicts:... Et cela change tous les jours! Comment s y retrouver? Les projets EDOS et MANCOOSI s attaquent aux erreurs de la phase de resolution des dependences, en utilisant des méthodes formelles.

12 Projet: Strep FP6 (de 2005 à 2007) Focus du WP2: cohérence globale d une distribution F/OSS (point de vue de l éditeur): Identifier tous les paquets d une distribution qui ne sont pas (individuellement) installables, et en expliquer la raison. 2 Résultats: formalisation des dépendences des paquets, et outils pour les éditeurs de distributions (aucun outils pre-existant était satisfaisant) Théorème: le problème de l installabilité d un paquet (restreint aux dependences) est NP-complet. 2 Par rapport aux dependences.

13 Installation et SAT solving Installer libc6 dans: Package: libc6 Version: Package: libc6 Version: Package: libc6 Version: ds1-22 Depends: libdb1-compat Package: libdb1-compat Version: Depends: libc6 (>= ) Package: libdb1-compat Version: Depends: libc6 (>= ) peut devenir I ds1 22 libc6 (I ds1 22 libc6 I libc6 ) (I ds1 22 libc6 I libc6 ) (I libc6 I libc6 ) (I libdb1-compat I libdb1-compat ) I ds1 22 libc6 (I libdb1-compat I libdb1-compat ) I libdb1-compat (I ds1 22 I libc6 ) libc6 I libdb1-compat I libc6 Attention Tout n est pas si simple: pre-depends, optimisations, explication des échecs, etc.

14 Timeline premières version de ceve et EDOSlib dans subversion WP2D1: analyse des systèmes de paquets, reduction aux contraintes booleennes, NP-completude première version de edos-debcheck, avec un SAT-solver intégré, dans subversion EDOS suit Debian via anla, avec rapports journaliers WP2D2: codages booléen et Constraint Programming, comparaison des package managers Première version de tart, un allocateur optimisant qui repartit une distribution sur plusieurs media, dans subversion EDOS WP2 presente les outils à Debian QA in Extremadura; edos.debian.net est né Fin d EDOS; environ lignes d OCaml. Team: Jaap Boender, Berke Durak, Xavier Leroy, Fabio Mancinelli, Ralf Treinen, Jerôme Vouillon

15 Les outils EDOS Et aussi tart, anla, etc. fournissent un socle solide pour le travail invisible mais indispensable des éditeurs de distribution. Tout est sous licence libre. Mais... cela ne resout pas le problème de l utilisateur final!

16 Un example de problème d upgrade sudo apt-get install debhelper Reading Package Lists... Done Building Dependency Tree... Done The following extra packages will be installed: armagetron armagetron-common autoconf bonobo-activation codebreaker debconf debconf-i18n debconf-utils dialog esound-common fb-music-high fontconfig frozen-bubble-data grepmail gv intltool-debian libaiksaurus-data libaiksaurus0c102 libatk1.0-0 libatk1.0-dev libbonobo-activation4 libbonobo2-0 libbonobo2-common libdb3 libdbd-mysql-perl libdbi-perl libeel2-data libesd0... The following packages will be REMOVED: autoconf2.13 frozen-bubble frozen-bubble-lib gconf2 gnomemeeting itk3.1-dev libbonoboui2-0 libbonoboui2-common libdigest-md5-perl libforms0.89 libgconf2-4 libgnome2-0 libgnome2-common libgnomeui-0 libgnomevfs2-0 libgnomevfs2-common libgtk1.2-dev libgtk2.0-0png3 libgtk2.0-dev libmime-base64-perl libpango1.0-dev libsdl-mixer1.2-dev libsdl-perl libsdl-ttf1.2-dev libsdl1.2-dev libsmpeg-dev libstorable-perl nautilus tk8.3-dev tktable-dev x-window-system x-window-system-core xaw3dg-dev xlib6g xlib6g-dev xlibmesa-dev xlibmesa3 xlibosmesa3 xlibs-dev xlibs-pic xpdf xpdf-reader The following NEW packages will be installed: armagetron-common debconf-i18n fb-music-high fontconfig intltool-debian libaiksaurus-data libaiksaurus0c102 libeel2-data libfilehandle-unget-perl libfontconfig1 libforms1 libgdbm3 libgnutls7 libgsf-1 libice-dev libice6 libidl0 liblzo1 libmagick5.5.7 libmail-mbox-messageparser-perl libmysqlclient12 libncursesw5 libnet-daemon-perl libnewt0.51 libpaper1 libplrpc-perl libsdl-console packages upgraded, 80 newly installed, 42 to remove and 858 not upgraded. Need to get 67.1MB of archives. After unpacking 26.9MB will be used. Do you want to continue? [Y/n] Abort.

17 MANaging the COmplexity of the Open Source Infrastracture Projet: Strep FP7 (de 2008 à 2011) Focus: cohérence et maintenance d une installation F/OSS (point de vue de l utilisateur): Outils pour la gestion des paquets installés installation desinstallation upgrade downgrade

18 Project overview Transactional updates WP2 formaliser les effets de l installation/desinstallation d un paquet sur le système WP3 construire des outils qui permettent à ce processus de devenir transactionnel

19 Project overview Upgradeability WP4 conception d algorithmes optimisés pour les mises à jour. WP5 construction d une base de problèmes, pour fédérer les chercheurs dans une compétition internationale.

20 Project Partners

21 L e quipe

22 Offspring/related works Les idées crées dans EDOS, et à l origine de Mancoosi sont désormais largement reconnues: Opium : gestionnaire utilisant un SAT solver pour Linspire Zypp : idem pour OpenSuse Eclipse : idem pour les plugins Eclipse

23 Conclusions Une nouvelle phase de collaboration entre recherche, Logiciel Libre et industrie: grande complexité du système F/OSS limite des outils ad-hoc préfigure les systèmes complexes de demain rendez-vous dans 3 ans pour les résultats. Plus d info: