Les chiffres clés d OverBlog

Transcription

1

2 Les chiffres clés d OverBlog 11~12 Millions de visiteurs uniques/mois * 12~20 Millions de pages vues par jour 1.5 Millions de blogs 25 Millions d'articles 60 Millions d'images 61 Millions de commentaires Plus grosse table : ~250 Millions d'elements Données janvier 2011 * Nielsen / Médiamétrie

3 Audience internationale

4 Connections simultanées (moyenne sur 5 ans)

5 Connections simultanées (72 heures)

6 Articles créés/jour (2010)

7 Technologies Apache / PHP (beaucoup de PHP) Postgresql 8.3 / Slony-I (et un peu de MySQL) Lucene / Solr (remplace tsearch2) MongoDB / NodeJS (experimental) Linux (base debian) webtest, hudson, watir, hadoop, hive, lighttpd, thttpd, nginx, varnish, haproxy, pgbouncer, pound, git, perl, python, cherokee, et beaucoup de logiciels et systemes fait maison (patch et contrib postgresql, patch kernel, filesystem...)

8 PostgreSQL & Slony-I

9 Slony, c'est bien! Réplication asynchrone basée sur des triggers Réplication par table Réplication par set (de table) Exemple de possibilités : Réplication partielle Ecriture possible sur les slave (sur table non répliquée) Une table répliquée peut declencher une écriture sur une table non répliquée (ex: table tsearch2 sur des slaves de recherche)

10 Réplication partielle

11 Slony, c'est bien! MASTER use the force

12 Slony, c'est bien! MASTER use the force Répliqué Répliqué use force SLAVE

13 Slony, c'est bien! MASTER use the force Répliqué Répliqué Trigger use force luke SLAVE Datamining

14 Architecture Postgresql Un petit bout d'architecture Overblog : - 6 set de réplication (groupé par fonctionalité) - ~150 tables répliquées - ~230 index - ~200 triggers - ~400 functions - pg_dump schema-only : ~ lignes - 275Go sur le master - 350Go sur un serveur de statistique (2 set sur 6)

15 Procédure Slony Switch Controlé (Designer un nouveau master) /!\ Failover /!\ (Le master est à la poubelle)

16 Procédure Slony Switch Controlé (Designer un nouveau master) Ecriture Master Replication complete Master+1 Set 1 & 2 Set 1,2,5 Set... Slave 1 Slave 2... Slave n

17 Procédure Slony Switch Controlé : - Etape 1 : Changer le provider des slaves (slonik_subscribe_set) Ecriture Master Replication complete Master+1 Set 1 & 2 Set 1,2,5 Set... Slave 1 Slave 2... Slave n

18 Procédure Slony Switch Controlé : - Etape 1 : Changer le provider des slaves (slonik_subscribe_set) - L'écriture se fait toujours sur le master - Le Master+1 cascade la réplication vers les slaves Ecriture Master Replication complete Master+1 Set 1 & 2 Set 1,2,5 Set... Slave 1 Slave 2... Slave n Subscribe set (id =, provider = master+1, receiver =..., forward =...);

19 Procédure Slony Switch Controlé : - Etape 1 : Changer le provider des slaves (slonik_subscribe_set) - Etape 2 : Déplacer le noeud d'origine vers le master+1 (slonik_move_set) Ecriture Master Replication complete Master+1 Set 1 & 2 Set 1,2,5 Set... Slave 1 Slave 2... Slave n Subscribe set (id =, provider = master+1, receiver =..., forward =...);

20 Procédure Slony Switch Controlé : - Etape 1 : Changer le provider des slaves (slonik_subscribe_set) - Etape 2 : Déplacer le noeud d'origine vers le master+1 (slonik_move_set) - Le Master+1 devient de fait le nouveau master, il faut écrire sur le nouveau master Move set (id =..., old origin = master, new origin = master+1); Master Replication complete Master+1 Ecriture Set 1 & 2 Set 1,2,5 Set... Slave 1 Slave 2... Slave n Subscribe set (id =, provider = master+1, receiver =..., forward =...);

21 Procédure Slony /!\ Failover /!\ (Le master est à la poubelle)

22 Procédure Slony /!\ Failover /!\ (Le master est à la poubelle) Ecriture Oops! Replication complete Master+1 Set 1 & 2 Set 1,2,5 Set... Slave 1 Slave 2... Slave n

23 Procédure Slony /!\ Failover /!\ Le master+1 s'autoproclame (sur commande slony) master, L'ancien master est banni. Master Ecriture Master+1 Set 1 & 2 Set 1,2,5 Set... Slave 1 Slave 2... Slave n

24 Switch et failover de datacenter? (yes, we can!)

25 2 Datacenter Datacenter 1 (Master) Datacenter 2 (Slave) Admin Master Master+1 Admin Slave Slave PHP PHP Cache Cache Lecture / Ecriture Lecture / Ecriture déportée

26 Régles fondamentales 2 datacenters Isolation entre lecture et ecriture : une panne de l'écriture ne doit pas impacter la lecture des blogs Killswitchs (dégradation volontaire de service) : ex : admin coupés sur panne du datacenter où le master tourne. Quantifier la dégradation de service : servir au moins 80% du traffic avec un seul datacenter.

27 Effets de bords Panne d'écriture = meilleur taux de cache

28 Switch simple (c'est vraiment simple)

29 Switch DC (maintenance) Admin Master Master+1 Admin LB Custom Slave Slave LB Custom PHP PHP DC1 Cache Cache DC2 Lecture / Ecriture Lecture / Ecriture déportée

30 Switch DC (maintenance) Switch slony Admin Master+1 Master Admin LB Custom Slave Slave LB Custom PHP PHP DC1 Cache Cache DC2 Lecture / Ecriture déportée Lecture / Ecriture

31 Panne DC Slave

32 Panne DC Slave Admin Master Master+1 Admin LB Custom Slave Slave LB Custom PHP PHP DC1 Cache Cache DC2 Lecture dégradée / Ecriture

33 Panne DC Master

34 Panne DC Master Admin Master Master+1 Admin LB Custom Slave Slave LB Custom PHP PHP DC1 Cache Cache DC2 Lecture degradée / Ecriture

35 Failover DC Master

36 Switch DC Master Admin Master Failover Admin LB Custom Slave Slave LB Custom PHP PHP DC1 Cache Cache DC2 Lecture degradée / Ecriture

37 Cluster safe mode

38 Safe Mode DC1 DC2 Pg bouncer Master Master+1 Pg bouncer

39 Safe Mode DC1 Web Admin 1 DC2 Web Admin 2... Ecriture Ecriture Ecriture Pg bouncer DC1 Master DC2 Master+1 Pg bouncer Web Admin N

40 Safe Mode DC1 Web Admin 1 Ecriture DC2 Web Admin 2... Slave 1 Web Admin N Ecriture Ecriture Pg bouncer PHP Master PHP DC1 DC2 Master+1 Pg bouncer DC1 DC2 DC1 Slave 2 PHP PHP... DC2... Cache Cache

41 Problème! LB Frontal basé sur un hash du domaine Rapide, aucune intelligence ni dépendence Serveurs PG optimisé par groupe de blog Meilleur cache interne le LB frontal n'a pas connaissance de ces groupes Dépendence 1 cache 1 PG problématique

42 Safe Mode DC1 Web Admin 1 Ecriture Master DC2 Web Admin 2... Zzzz :) Web Admin N Ecriture Ecriture Pg bouncer WTF?! O_o DC1 DC2 Master+1 Pg bouncer DC1 DC2 DC1 Slave 2 :( PHP PHP... DC2... Cache Cache

43 Optimisations? Postgresql limités uniquement par les I/O disque ~75000 blocks de 8Ko lus par seconde : 600Mo/s Lecture/ecriture disque random = 5~10Mo/s = 590Mo/s lu en ram (cache disque (ram)) /!\ Optimiser le taux de cache Postgresql Limiter le nombre de blocks a lire demander les mêmes données aux mêmes serveurs

44 Cluster optimisé

45 Optimisé Pg bouncer Master Master+1 Pg bouncer Slave 1 Slave 2 LB PHP / Blog PHP PHP PHP PHP... Cache Cache... Interdependence DC /!\ LB Hash

46 Lag de réplication & Mise a jour des caches

47 Mise à jour des caches Publication d'article Ecriture Master Event Slony N d'event Commander un clean du cache Le serveur concerné Est il a jour? Discard cache blog

48 Mise à jour des caches Article 3 Module 1 Article 2 Module 2 Article 1 Module...

49 Mise à jour des caches Article 3 modifié Module 1 Article 2 Module 2 Article 1 Module 3

50 Mise à jour des caches Cache de bloc Liste des blocs Cachés

51 Mise à jour des caches Cache de bloc Liste des blocs Cachés Mise à jour de blog Discard de bloc

52 Mise à jour des caches Cache de bloc Liste des blocs Cachés Mise à jour de blog Discard de bloc Visiteur Requête cache

53 Mise à jour des caches Cache de bloc Liste des blocs Cachés Mise à jour de blog Discard de bloc Visiteur Cache

54 Mise à jour des caches Cache de bloc Liste des blocs Cachés Mise à jour de blog Discard de bloc Visiteur Cache Calcul du blog SAUF blocs cachés Serveur PHP

55 Mise à jour des caches Cache de bloc Liste des blocs Cachés Mise à jour de blog Discard de bloc Visiteur Requête cache Calcul du blog SAUF blocs cachés Serveur PHP

56 Questions?

57 On recrute! Société : WikioGroup Localisation : Toulouse Poste : Ingénieur R&D et développement Core Projet : WIKIO-EXPERTS Technologies : - PHP5, perl, Shell, Python,... - Maîtrise du SQL (PostgreSQL serait un vrai plus) - R&D pour Datamining, SEO, analyses sémantiques et statistiques Description : Au sein de l'équipe technologique Toulousaine du groupe Wikio (30 personnes), vous serez en charge de la recherche et du développement du site wikio-experts.com : création de contenu à la demande et technologies associées. Envoyer CV à et mail de motivation à : gilles.moncaubeig@wikiogroup.com