Lutim (Let s Upload That Image!)

Transcription

1 Lutim (Let s Upload That Image!) Migration de SQLite à PostgreSQL et passage à l échelle BERKANE Abdelkarim BOUTSERIN Kevin JACQUES Lenny Licence Professionnelle ASRALL IUT Nancy-Charlemagne 29 Mars / 33

2 Table des Matières 1 Contexte Introduction Motivations Objectifs Gestion du projet 2 Notre infrastructure Grid5000 Environnement de test Locust HAProxy NFS GlusterFS 3 SQLite -> PostgreSQL 4 Tests de charges SQLite PostgreSQL local PostgreSQL distant 2 Lutim, PostgreSQL, NFS 10 Lutim, PostgreSQL, NFS Comparatif de RPS 5 Conclusion Synthèse Travail effectué Améliorations possibles 2/ 33

3 1 Contexte 2 Notre infrastructure 3 SQLite -> PostgreSQL 4 Tests de charges 5 Conclusion 3/ 33

4 Introduction Introduction Lutim (Let s Upload That Image) est un service web de partage d images développé en PERL par Luc Didry. L architecture actuelle du service est relativement simple : Base de données SQLite pour les métadonnées sur les images Fichiers images 4/ 33

5 Motivations Motivations Le but principal de ce projet est de réaliser une architecture permettant de passer Lutim à l échelle, en comparant différentes architectures. 5/ 33

6 Motivations Motivations SQLite étant une base de donnée locale uniquement, nous modifierons Lutim de façon à utiliser une base de données pouvant être partagée entre plusieurs serveurs. 6/ 33

7 Motivations Motivations 7/ 33

8 Objectifs Objectifs Les objectifs du projet 8/ 33

9 Objectifs Objectifs Les objectifs du projet Prendre en main Grid5000 et Lutim. 8/ 33

10 Objectifs Objectifs Les objectifs du projet Prendre en main Grid5000 et Lutim. Test de charge via Locust. 8/ 33

11 Objectifs Objectifs Les objectifs du projet Prendre en main Grid5000 et Lutim. Test de charge via Locust. Passer Lutim à l échelle. 8/ 33

12 Objectifs Objectifs Les objectifs du projet Prendre en main Grid5000 et Lutim. Test de charge via Locust. Passer Lutim à l échelle. Modifier Lutim pour utiliser PostgreSQL. 8/ 33

13 Objectifs Objectifs Les objectifs du projet Prendre en main Grid5000 et Lutim. Test de charge via Locust. Passer Lutim à l échelle. Modifier Lutim pour utiliser PostgreSQL. Mettre en place NFS pour tester Lutim en mode distribué. 8/ 33

14 Objectifs Objectifs Les objectifs du projet Prendre en main Grid5000 et Lutim. Test de charge via Locust. Passer Lutim à l échelle. Modifier Lutim pour utiliser PostgreSQL. Mettre en place NFS pour tester Lutim en mode distribué. Mettre en place GlusterFS pour remplacer NFS. 8/ 33

15 Objectifs Objectifs Les objectifs du projet Prendre en main Grid5000 et Lutim. Test de charge via Locust. Passer Lutim à l échelle. Modifier Lutim pour utiliser PostgreSQL. Mettre en place NFS pour tester Lutim en mode distribué. Mettre en place GlusterFS pour remplacer NFS. Faire des tests de charge pour comparer ces différentes architectures. 8/ 33

16 Gestion du projet Outils Outils de travail collaboratif Utilisation de git Dépôt pour nos scripts et fichiers de configurations Fork du projet Lutim (Luc Didry) Messagerie instantanée (Mattermost) Pads pour les brouillons 9/ 33

17 1 Contexte 2 Notre infrastructure 3 SQLite -> PostgreSQL 4 Tests de charges 5 Conclusion 10/ 33

18 Grid5000 Infrastructure Grid5000 Grid5000 est une grille de calculs, constituée de plusieurs serveurs répartis sur 7 sites géographiques en France, et 1 au Luxembourg. 11/ 33

19 Grid5000 Infrastructure Utilisation de Grid5000 Réserver des machines (nœuds) Installer une des images systèmes disponibles, ou utiliser le système de base (Debian) sur les nœuds réservés Mettre en place son infrastructure 12/ 33

20 Environnement de test 13/ 33

21 Locust Infrastructure Locust Outil de tests de charges pour des applications Web Deux modes de fonctionnement : Un client Distribué (maître et esclaves) 14/ 33

22 HAProxy Infrastructure HAProxy Répartiteur de charge HTTP et TCP. 15/ 33

23 NFS Infrastructure NFS Protocole permettant d accéder aux fichiers distant Partage de fichier paramétrable Simple mettre en place 16/ 33

24 GlusterFS Infrastructure GlusterFS Protocole distribué permettant d accéder aux fichiers distant Utilise FUSE 1 Paramétrable : Distribué, Répliqué, Striped FileSystem In Userspace 2. Similaire au RAID 0, mais au niveau de machines distinctes 17/ 33

25 1 Contexte 2 Notre infrastructure 3 SQLite -> PostgreSQL 4 Tests de charges 5 Conclusion 18/ 33

26 SQLite -> PostgreSQL Tableau comparaison SQLite et PostgreSQL Base de données SQLite PostgreSQL Avantages Désavantages - Toute la base de données stockée dans un seul fichier - Standards des normes SQL - Idéal pour développer et faire des tests - Pas de management utilisateur - Manque de possibilité pour améliorer les performances - SGBDR compatible avec la norme SQL - Grosse communauté - Nombreux outils tiers - Extensible par des programmes avec des procédures stockées - Nécessite plus de maintenance 19/ 33

27 Migration SQLite -> PostgreSQL Passage de SQLite à PostgreSQL SQLite LutimModel : :Lutim->count( WHERE path IS NULL ) ; LutimModel : :Lutim->count( WHERE short =?, $short) ; PostgreSQL my $pg = Mojo : :Pg->new( "postgresql ://localhost/lutimdb") ; $pg>db->query( SELECT * FROM lutim WHERE path IS NULL )->rows ; $pg->db->query( SELECT * FROM lutim WHERE short =?, $short)->rows 20/ 33

28 1 Contexte 2 Notre infrastructure 3 SQLite -> PostgreSQL 4 Tests de charges 5 Conclusion 21/ 33

29 SQLite Lutim avec SQLite Facteurs limitants : SQLite. Solutions : Passer à PostgreSQL a. a. Ou une autre base de données 22/ 33

30 PostgreSQL local Lutim avec PostgreSQL local Facteurs limitants : CPU saturé, partagé entre Lutim et PostgreSQL. Solutions : Migrer PostgreSQL sur un serveur distant. Augmenter le nombre de workers Lutim. 23/ 33

31 PostgreSQL distant Lutim avec PostgreSQL distant Facteurs limitants : CPU saturé sur la machine Lutim (64 workers). Solutions : Répartir la charge entre plusieurs serveurs Lutim. Mettre en place un stockage de fichiers distribué Passer les fichiers temporaires de Lutim en RAM (/dev/shm). 24/ 33

32 2 Lutim, PostgreSQL, NFS 2 Lutim avec PostgreSQL et NFS Paramètres : NFS : SSD, async. PostgreSQL : max_connections = Facteurs limitants : CPU Lutim saturé. Solutions : Mettre plus de serveurs Lutim. Remplacer si possible NFS par GlusterFS. 25/ 33

33 10 Lutim, PostgreSQL, NFS 10 Lutim avec PostgreSQL et NFS Facteurs limitants : Trop d accès concurrents. Solutions : Utiliser pgpool a. Répartir la charge entre plusieurs serveurs de BDD avec réplication. a. 26/ 33

34 Comparatif de RPS Requêtes par seconde Architecture Method Name 1 Lutim 2 Lutim avec NFS 10 Lutim avec NFS SQLite PostgreSQL local PostgreSQL distant PostgreSQL distant GET / 4,92 16,05 26,55 70,19 48,72 POST / 2,60 23,94 44,46 135,73 95,91 Total 7,52 40,00 71, ,64 27/ 33

35 1 Contexte 2 Notre infrastructure 3 SQLite -> PostgreSQL 4 Tests de charges 5 Conclusion 28/ 33

36 Synthèse Synthèse des tests 2 Lutim, PostgreSQL, NFS est une architecture intéressante pour supporter un trafic relativement fort (moins de 3000 connexions concurrentes). Si le trafic attendu est supérieur, il faudra augmenter le nombre de serveurs Lutim et mettre en place GlusterFS et plusieurs serveurs PostgreSQL. 29/ 33

37 Travail effectué Tâches réalisées Migration de SQLite vers PostgreSQL Comparatif SQLite vs PostgreSQL Scripts de déploiement de l infrastructure (plusieurs serveurs) Test de charges Répartition de charge avec HAProxy Identification des facteurs limitants de chaque infrastructure 30/ 33

38 Améliorations possibles Pistes d améliorations Mettre en place Puppet Mettre en place un serveur de cache (Memcached, Varnish) Stocker les images dans une BdD orientée documents (MongoDB) Faire une couche d abstraction pour la BdD dans Lutim 31/ 33

39 Questions? Avez-vous des questions? 32/ 33

40 Licence du document Ce document est diffusé sous licence libre Creative Commons Attribution-ShareAlike 4.0 Vous êtes autorisé à : cc by sa Partager Copier, distribuer et communiquer le matériel par tous moyens et sous tous formats. Adapter Remixer, transformer et créer à partir du matériel pour toute utilisation, y compris commerciale. Vous n êtes pas autorisé à : Changer la licence Toute œuvre dérivée (ou copie de ce document tel quel), doit obligatoirement inclure une copie de la licence CC By-SA 4.0, ou un lien vers celle-ci. Sauf logos en page 1, sous droits d auteurs. 33/ 33