OSGi Users Group France. Home Gateway Linux. Yvan Royon

Transcription

1 OSGi Users Group France Home Gateway Linux Yvan Royon

2 Petit rappel OSGi c'est... Un framework Conteneur : déploiement, dépendances, exécution Outils : shell, prises de management Bundles Un modèle de programmation SOP Services 2

3 Critiques parfois entendues OSGi dépend fortement de Java Donc d'une JVM Sur petites machines : Problème de taille disque, mémoire Problème de performance JVM spécialisées (J2ME et plus petit) Problème de licence Write once, debug everywhere 3

4 Démarche proposée Peut-on faire un OSGi en natif? En particulier : Système GNU/Linux Langage C Framework Support pour déploiement, pour gestion Outillage Modèle de programmation? Un peu de provocation : à quoi ça sert? 4

5 Plan de la présentation Un cas d'application Les passerelles domestiques Expression des besoins Fonctionnalités requises pour l'environnement d'exécution OSGi et ces besoins Linux et ces besoins Une implantation HGL Différences HGL / framework OSGi 5

6 Contexte & cas d'application fournisseur d'accès fournisseurs de services dernier kilomètre internet passerelle domestique Multiples fournisseurs de services au domicile Services hébergés sur la passerelle domestique 6

7 Expression des besoins : cycle de vie Fonctionnalités de la passerelle domestique Exécuter du code Démarrer, arrêter Start, exec, stop 7

8 Expression des besoins : déploiement Fonctionnalités de la passerelle domestique Récupérer, installer, désinstaller du code Sous forme d'archives Unités de déploiement Téléchargement Installation Start, exec, stop 8

9 Expression des besoins : catalogues de services Fonctionnalités de la passerelle domestique Catalogues de services Unités de déploiement Téléchargement Installation Start, exec, stop Dépôts de services Serveurs distants 9

10 Expression des besoins : profils d'utilisation Fonctionnalités de la passerelle domestique Profils d'utilisation de la passerelle Qui l'utilise, quand, dans quel contexte Unités de déploiement Téléchargement Installation Start, exec, stop Dépôts de services Serveurs distants Profils Jeu de services dans un état donné 10

11 Expression des besoins : isolation multi-utilisateurs Fonctionnalités de la passerelle domestique Exécuter du code venant de plusieurs fournisseurs Contrôler la portée des services Concurrence Unités de déploiement Téléchargement Installation Multi-utilisateurs Mécanisme d'isolation Partage de services à la demande Administrateur Confidentialité Un administrateur arbitre cette portée Start, exec, stop Dépôts de services Serveurs distants Profils Jeu de services dans un état donné 11

12 Expression des besoins : facturation Fonctionnalités de la passerelle domestique Contrôler qui utilise quelles ressources Ressources matérielles, logicielles Unités de déploiement Téléchargement Installation Multi-utilisateurs Mécanisme d'isolation Partage de services à la demande Administrateur Start, exec, stop Dépôts de services Serveurs distants Profils Jeu de services dans un état donné Facturation Quotas de ressources CPU, mémoire, fichiers 12

13 Expression des besoins : gestion cohérente Fonctionnalités de la passerelle domestique Gérer toutes ces activités localement Interface unifiée Gestion Accès distant Depuis une interface unique Accessible à distance Unités de déploiement Téléchargement Installation Start, exec, stop Multi-utilisateurs Mécanisme d'isolation Partage de services à la demande Administrateur Dépôts de services Serveurs distants Profils Jeu de services dans un état donné Facturation Quotas de ressources CPU, mémoire, fichiers 13

14 Expression des besoins Fonctionnalités de la passerelle domestique Centré services Centré utilisateurs Interface unifiée Gestion Accès distant Fonctionnalités primaires Fonctionnalités secondaires Unités de déploiement Téléchargement Installation Start, exec, stop Dépôts de services Serveurs distants Profils Jeu de services dans un état donné Multi-utilisateurs Mécanisme d'isolation Partage de services à la demande Administrateur Facturation Quotas de ressources CPU, mémoire, fichiers 14

15 Passerelle vue à plat : quelques problèmes Compteur électrique e-brosse à dents Supervision de frigo 0,* 1 gère Passerelle domestique Opérateur de services Un seul opérateur Chaîne de responsabilités floue Pas d'isolation 15

16 Proposition : coins utilisateur services communs librairies services spécifiques Coin utilisateur Coin utilisateur Coin administrateur Environnement (OS propriétaire, OS libre, JVM) 0,* gère 0,1 Fournisseur de services 0,* gère 1 manages Opérateur de passerelle Isolation des services par fournisseur Gestion séparée pour chaque acteur économique [GRES 06], [IEEE ComMag 10/07] 16

17 Technologies candidates Environnements d'exécution pour passerelles domestiques 2 choix principaux: Linux OSGi Alternatives Windows CE.NET 17

18 OSGi et Linux : fonctionnalités multi-services existantes Fonctionnalités existantes Gestion Gestion Interface unifiée Accès distant Interface unifiée Accès distant Unités de déploiement Multi-utilisateurs Unités de déploiement Multi-utilisateurs Téléchargement Installation Mécanisme d'isolation Partage de services à la demande Administrateur Téléchargement Installation Mécanisme d'isolation Partage de services à la demande Administrateur Démarrage, arrêt Démarrage, arrêt Dépôts de services Serveurs distants Profils Jeu de services dans un état donné Facturation Quotas de ressources CPU, mémoire, fichiers Dépôts de services Serveurs distants Profils Jeu de services dans un état donné Facturation Quotas de ressources CPU, mémoire, fichiers OSGi Linux 18

19 Ce qui existe : Linux et outils noyau Linux outils userspace libc coreutils... Interface unifiée Unités de déploiement Téléchargement Installation Démarrage, arrêt Gestion Accès distant Multi-utilisateurs Mécanisme d'isolation Partage de services à la demande Administrateur Dépôts de services Serveurs distants Profils Jeu de services dans un état donné Facturation Quotas de ressources CPU, mémoire, fichiers 19

20 Déploiement Package managers Package apt, portage, rpm... Exécutables, librairies, autres Métadonnées Dépendances Versions Interface unifiée Unités de déploiement Téléchargement Installation Démarrage, arrêt Dépôts de services Serveurs distants install/post-install/démarrage/runtime, mandataire/optionnel, statique/dynamique (flags)... Maintient l'état «statique» du système Profils Jeu de services dans un état donné Gestion Accès distant Multi-utilisateurs Mécanisme d'isolation Partage de services à la demande Administrateur Facturation Quotas de ressources CPU, mémoire, fichiers Packages installés, packages disponibles 20

21 Dépôts de services Package repositories HTTP, FTP, CVS,... Synchronisation de l'arbre de packages Interface unifiée Unités de déploiement Téléchargement Installation Démarrage, arrêt Dépôts de services Serveurs distants Profils Jeu de services dans un état donné Gestion Accès distant Multi-utilisateurs Mécanisme d'isolation Partage de services à la demande Administrateur Facturation Quotas de ressources CPU, mémoire, fichiers 21

22 Scripts rc Processus init Modules noyau Interface unifiée Unités de déploiement Téléchargement Installation Démarrage, arrêt Gestion Accès distant Multi-utilisateurs Mécanisme d'isolation Partage de services à la demande Administrateur L'état «dynamique» du système est dispersé Dépôts de services Serveurs distants Profils Jeu de services dans un état donné Facturation Quotas de ressources CPU, mémoire, fichiers 22

23 Profils Runlevels (petit détour...) Interface unifiée Unités de déploiement Téléchargement Installation Gestion Accès distant Multi-utilisateurs Mécanisme d'isolation Partage de services à la demande Administrateur Démarrage, arrêt Dépôts de services Serveurs distants Profils Facturation Quotas de ressources CPU, mémoire, fichiers Jeu de services dans un état donné 23

24 Le processus init init : PID 1 Lance un ou des processus au démarrage (rc...) Poubellise les processus zombies 24

25 Petite histoire d'init BSD init Lit un fichier de config (/etc/rc) Lance les processus dans l'ordre indiqué System V init Runlevels (/etc/inittab) [configuration] 0 = halt, 1 = single mode, 6 = reboot Changement dynamique de runlevel RC scripts Wrapper scripts pour applications start, stop [cycle de vie] 25

26 Evolution d'init Dépendances entre scripts rc : «need» (au lieu d'un ordre statique de démarrage) Configuration Runlevels nommés (au lieu de numérotés) Scripts rc (/var) Processus père (signaux POSIX) Souplesse vs. réactivité 26

27 Evolution d'init (2) Instrumentation Log d'erreurs Résurrection Outillage telinit, start-stop-daemon, rc-update Rapidité Parallélisation des scripts au démarrage Taille Petites machines 27

28 Evolution d'init (3) Apple launchd Sun SMF Remplace tout ce qui démarre des applications xinetd, crond, anacron, init Détection de fautes et diagnostics Services en mode dégradé, mode maintenance Ubuntu upstart Tout est événement et réaction lancement d'applications, udev, acpi Dépendances : DHCP attend «network is ready» 28

29 Efforts dupliqués dans Linux et déploiement Modules noyau: chargement / déchargement Init: start, stop, restart, pause, zap Packages: install, uninstall, update Dépendances Kernel modules fichiers Kconfig, fichiers *.o.cmd init scripts ordre statique, need / use, noms virtuels, événements Package managers.deb,.ebuild 29

30 Multi-utilisateurs Utilisateurs Unix Espaces de nommage : Permissions fichiers (rxwst) Pas pour les processus (ps -ef) IPC : pas par défaut chroot, jails Interface unifiée Unités de déploiement Téléchargement Installation Démarrage, arrêt Dépôts de services Serveurs distants Profils Jeu de services dans un état donné Gestion Accès distant Multi-utilisateurs Mécanisme d'isolation Partage de services à la demande Administrateur Facturation Quotas de ressources CPU, mémoire, fichiers Virtualisation Xen, Vserver, OpenVZ, KVM, VMware Compromis isolation / performance 30

31 Accounting Quotas par utilisateur Interface unifiée Gestion Accès distant Espace disque #process Unités de déploiement Téléchargement Installation Multi-utilisateurs Mécanisme d'isolation Partage de services à la demande Administrateur... inotify Démarrage, arrêt Dépôts de services Serveurs distants Profils Jeu de services dans un état donné Facturation Quotas de ressources CPU, mémoire, fichiers 31

32 Gestion Etat du système dispersé Interface unifiée Gestion Accès distant Etat statique, état dynamique Métadonnées dispersées Unités de déploiement Téléchargement Installation Multi-utilisateurs Mécanisme d'isolation Partage de services à la demande Administrateur Duplication / contradiction des dépendances Accès distant Démarrage, arrêt Dépôts de services Serveurs distants Profils Jeu de services dans un état donné Facturation Quotas de ressources CPU, mémoire, fichiers ssh, SNMP,... Accès à des données partielles 32

33 Home Gateway Linux common services vendor-specific services Virtual SGW Virtual SGW Core Service Gateway Hardware / OS / Virtual Machine Objectif : intégrer toutes les activités liées à la gestion de services Réutiliser l'existant 0,* 0,1 manages Service Provider 0,* 1 manages manages Simplifier et unifier l'écriture et le stockage des métadonnées Sans Java Gateway Operator 33

34 HGL : Modules Registre Gestion Accès distant Unités de déploiement Paquetage Activateur Dépendances installation et exécution NOTINSTALLED, INSTALLED, STARTED, PAUSED, STOPPED Dépôts de services Gestionnaire de paquetages Cache local Multi-utilisateurs Coins utilisateurs des coins Registre des coins Facturation setrlimit(2), getrusage(2), sysconf(3), ulimit(1) Profils Déploiement + cycle de vie par utilisateur 34

35 HGL : métadonnées test. xclock. NAME=test CATEGORY= ARCHIVE_FILE=test.tgz VERSION= DOWNLOAD_URL= LICENSE= DEPEND= ACTIVATOR= DESCRIPTION=A test bundle which does nothing NAME=xclock CATEGORY= ARCHIVE_FILE=xclock.tgz VERSION= DOWNLOAD_URL= file:///tmp/repo/xclock.tgz LICENSE= DEPEND=xcalc ACTIVATOR=xclock DESCRIPTION=A graphical clock 35

36 HGL : implantation Registre Gestion Accès distant bundle. Unités de déploiement Paquetage Activateur Dépendances installation et exécution NOTINSTALLED, INSTALLED, STARTED, PAUSED, STOPPED Dépôts de services Gestionnaire de paquetages Cache local Profils Déploiement + cycle de vie par utilisateur Multi-utilisateurs Coins utilisateurs des coins Registre des coins Facturation setrlimit(2), getrusage(2), sysconf(3), ulimit(1) 36

37 Isolation dans HGL Isolation par chroot Déploiement / coin administrateur Slackware /bin /lib /proc coin u1 /home/u1 /home/u1/usr/bin /home/u1/usr/lib coin u2 services communs librairies services spécifiques /home/u2 Coin utilisateur Coin administrateur Coin utilisateur Environnement (OS propriétaire, OS libre, JVM) 0,* gère 0,1 Fournisseur de services 0,* gère 1 manages Opérateur de passerelle /home/u2/usr/bin /home/u2/usr/lib 37

38 Gestion dans HGL Gestion locale signaux POSIX (cycle de vie) Interaction avec (déploiement) Registre de services Gestion distante Laissée ouverte : socket Interface avec p. ex. TR-069 du DSL Forum 38

39 HGL : implantation (2) Il manque encore : Modules noyau Numéros de version 39

40 HGL : des chiffres Empreinte mémoire HGL / HGL & librairies partagées gcc -Os icc -Os No nook > 0 nooks 256K / 1560K 296K / 1760K 284K / 1780K 324K / 1980K Espace disque gcc -Os icc -Os Dynamically linked to gibc bytes bytes 40

41 HGL : résultats Réalisé chez Alcatel-Lucent Belgique Intégré dans leur labo Tourne sur un routeur wifi Asus WL-520g Tests en attente... Presque non intrusif sur le modèle de programmation Juste un peu pour le packaging (métadonnées) 41