Datacenter Roubaix 4 d'ovh : visite guidée

Datacenter Roubaix 4 d'ovh : visite guidée Rédigé par Sébastien Gavois, Le 06 juillet 2011 OVH nous a invités dans ses locaux de la région lilloise pour nous présenter son infrastructure, mais surtout son nouveau datacenter Roubaix 4. Implantée dans le Nord depuis plusieurs années, et plus précisément dans la Roubaix Valley (en rapport avec la Silicon Valley ), la société vient en effet de mettre en service un bâtiment unique au monde haut de six étages. Difficile de passer à côté sans le remarquer... Comme toute société qui héberge des données sensibles, OVH a beaucoup investi pour sécuriser ses locaux. En effet, l enceinte est entièrement grillagée, du fil barbelé est installé au dessus des grilles et vous devez disposer d un badge magnétique pour entrer sur le parking. L'entrée d'ovh : un badge magnétique est nécessaire pour arriver sur le parking Mais nous ne sommes pas au bout de nos surprises puisque, pour pouvoir passer le premier sas d'entrée, et accéder à l accueil, il faut passer par un scanner d empreinte digitale. Par la suite, nous verrons que plusieurs sas de sécurité, utilisant le même principe que ceux des banques, sécurisent les différentes parties du site et sont également présents à l'entrée des datacenters. Une trottinette électrique en libre service et un scanner d'empreinte digitale Avant de commencer la visite, Henryk Klabla (le président d'ovh), Germain Masse (le directeur des datacenters) et Lyonel Deny (le responsable d'exploitation des datacenters) nous ont présenté leur société, l occasion d en savoir un peu plus sur le numéro 1 européen de l hébergement (source Netcraft) : OVH. De gauche à droite : Lyonel Deny, Germain Masse et Kenryk Klabla Avant de commencer la présentation technique de Roubaix 4, nos hôtes nous ont proposé une petite rétrospective de leur société et de ses choix techniques. Pour la petite histoire, sachez qu'elle a été créée en 1999 par Octave Klabla (qui occupe actuellement le poste de directeur général) dans le but de fournir des outils aux webmasters. Il fédère alors autour de lui une communauté d utilisateurs avec lesquels il travaille d arrachepied afin d'ajouter de nouveaux services. Notez que cette politique continue 1/10

aujourd hui via les mailings lists, et il n est pas rare de recevoir un mail d Octave, en pleine nuit, demandant des avis et des retours sur sa dernière idée Du côté ressources humaines, OVH emploie 244 personnes en France et une très grande majorité du personnel se trouve à Roubaix Valley (environ 230). Des succursales étrangères sont également en place et chaque pays où la société est implantée dispose au minimum d un bureau afin d'assurer une assistance locale. Certains pays comme l Allemagne, l Espagne ou encore la Pologne disposent en plus d'une équipe de développeurs. Les serveurs d'ovh sont développés et assemblés dans ses locaux Via Marielys, une de ses filiales (lui appartenant à 100 %), la société réalise et conçoit elle-même ses propres serveurs. En effet, celle-ci passe commande de cartes mères (chez des sociétés comme Intel ou Supermicro), de processeurs, de mémoire vive, d'unités de stockage (disques durs et SSD) et elle procède elle-même à l assemblage dans ses ateliers. Même chose pour les boîtiers et les racks qui sont entièrement développés en interne. OVH maitrise donc de bout en bout la conception, la production, l'installation et la maintenance de ses serveurs. De fait, OVH est en mesure de proposer rapidement un serveur dédié et peut facilement s adapter aux nouvelles gammes de produits. Depuis 2003, il est possible de disposer d'un serveur une heure seulement après avoir passé la commande, c'est d'ailleurs un des gros points forts de la société. Pour information, sachez qu'en moyenne OVH livre entre 140 et 150 machines par jours ouvrés. L'hébergeur annonce que Marielys est le 4e fabricant de serveurs en France. Notez que la filiale ne revend pas à d'autres sociétés, ceux-ci sont exclusivement réservés à OVH. OVH possède son propre réseau de fibres optiques De même, l'hébergeur nordiste dispose de son propre réseau de fibres optiques. La société relie ainsi 25 points de présence dans 11 pays à travers l'europe. La capacité totale du réseau dépasse les 500 Gbps. 2/10

L'état du réseau d'ovh peut-être visualisé en temps réel à cette adresse. 50.000 m² de terrain sur Roubaix, enfin pour le moment... OVH dispose d une parcelle d environ 50.000 m², mais quelques nouvelles acquisitions sont prévues. Il y a donc de la place pour la construction d'autres datacenters (ce qui devrait arriver assez rapidement), mais aussi pour réaliser d'autre genre de bâtiments. À titre d'information, sachez qu'une crèche à destination des enfants des employés est actuellement en train de sortir de terre. Une fresque des différentes liaisons que possède OVH Un chiffre d'affaires qui dépasse les 100 millions Actuellement, OVH revendique pas moins de 400.000 clients directs et 1.500.000 clients indirects. Enfin, Henryk Klaba nous annonce que sa société a d ores et déjà dépassé un chiffre d affaires de 100 millions d euros et que sa croissance est actuellement de 40 % par an. En 2003, OVH amorce un virage décisif : la société se lance dans la conception d'un nouveau système de refroidissement liquide pour les processeurs de ses serveurs. De l aveu même de Germain Masse (directeur des datacenters), c est avant tout une démarche pragmatique afin de suivre l évolution des serveurs qui sont toujours plus puissants et plus rapides, mais qui chauffent également davantage. En effet, à cette époque la société se trouve face à un épineux dilemme : l augmentation de la fréquence des processeurs entraine une augmentation de la chaleur et le prix du m² parisien étant couteux, la superficie des locaux ne peut pas être agrandie. OVH se retrouve alors face à une limite technologique : il n est plus possible de refroidir par air ses baies de serveurs. Depuis 2003 OVH watercoole les CPU de ses serveurs C est à ce moment, en 2003, que les premiers systèmes de refroidissement par liquide sont 3/10

arrivés dans les datacenter d'ovh. Dès cette année-là, l hébergeur a vu ses coûts énergétiques baisser de 30 %, et actuellement l économie réalisée sur sa facture EDF avoisine les 50 %. OVH annonce un PUE (c est un indicateur d efficacité énergétique) moyen de 1.1, c'est-à-dire qu il faut environ 110 watts pour faire fonctionner un serveur consommant 100 watts (10 watts sont donc nécessaires pour le refroidir). C est deux fois moins que la moyenne des autres datacenters. Les économies réalisées sur l énergie permettent de proposer des tarifs bien plus attractifs que nos concurrents tout en étant toujours aussi rentable nous a été d'ailleurs dit. Une nourrice de distribution du système de refroidissement liquide de Roubaix 4 Jusqu à maintenant les datacenters d'ovh utilisaient un système de refroidissement hybride : le watercooling était couplé avec des climatiseurs. La grosse nouveauté de Roubaix 4 est donc d être totalement dépourvu de climatisation! Réaction du public face au refroidissement liquide : tollé général L arrivée de l eau dans les datacenters d OVH ne s'est pas faite sans quelques grincements de dents En effet, comme nous l'explique Germain Masse, en 2003 cette annonce a provoqué un tollé général de la part de ses clients qui les ont pris pour des fous. Du coup, pendant près de six ans, OVH a stoppé net toute communication autour de son système de refroidissement liquide... ses clients n étant visiblement pas prêt pour entendre cela. Pour la petite histoire, sachez que le fournisseur d accès a eu des soucis similaires lors du lancement de son offre VOIP et plus récemment de ses abonnements SDSL. Avec des tarifs respectifs de 1 et 30 par mois, ils avaient du mal à en vendre, car le tarif n était pas assez cher pour paraitre crédible aux yeux de leurs clients, un comble pour OVH. Résultat des courses, la VOIP est passée pendant un temps à 5 par mois et les forfaits SDSL sont actuellement disponibles à partir de 99 mois. Notez que nous avons pu avoir la confirmation que rien n était fixé sur ce dernier point et que des changements sont à prévoir à plus ou moins court terme sur le tarif des offres SDSL. Éolien : économiquement non justifié, mais on le fait quand même... La société expérimente également d autres sources d énergie avec par exemple des cellules photovoltaïques, mais les résultats pour Roubaix n étaient pas satisfaisants et viables, ce n'est en même temps pas très étonnant vu la météo... 4/10

Il n'y a pas assez de soleil à Roubaix (ou pas assez de plaques?)... Comme nous vous l'avions déjà annoncé, un champ éolien est également en cours d expérimentation à une centaine de kilomètres de Nancy, il devrait permettre d alimenter en totalité, ou en partie, le futur datacenter en cours de déploiement dans la banlieue de Strasbourg. En effet, la capacité totale des huit éoliennes est de 6.5 mégawatts, mais le rendement sur ce genre de produit ne dépasse généralement pas les 25 %. D après les prévisions de l'hébergeur, Strasbourg aurait besoin d un petit peu plus de 2 mégawatts pour fonctionner. De l'aveu même d'henryk Klaba, économiquement ce projet n'est pas justifié et il ne n'est pas rentable. Pour autant, la société continue ses recherches et explore plusieurs pistes pour se fournir en électricité, une manière d'anticiper l'avenir? En cas de coupure, des groupes électrogènes prennent le relais Puissance totale : 8 mégawatts, de quoi alimenter toutes les infrastructures d'ovh Enfin, sachez que le site dispose de deux arrivées de courant distinctes venant de deux circuits EDF différents. Le courant passe ensuite par un ensemble d'onduleurs capable de tenir 10 minutes en cas de coupure, un temps suffisant pour mettre en marche les groupes électrogènes. La puissance totale de ceux-ci est annoncée à 8 mégawatts, rien que ça... OVH ne s est pas arrêté en si bon chemin et la société a également mis au point des datacenters dans des containers, un système déjà utilisé, par exemple, par Google. Ceux-ci sont dépourvus de climatisation et, là encore, le watercooling est de mise. En effet, seuls des ventilateurs restent pour assurer un débit d air en fonction des besoins. L'implantation prévue à Strasbourg avec pas moins de 18 containers Pour arriver à un résultat concluant, notre interlocuteur nous précise que cela a nécessité une année complète de recherche et de développement. Lors de notre visite du site, nous avons pu apercevoir un container vide et, comme vous pouvez vous le remarquer, il est bien aéré, le but étant de créer un flux d air naturel entre l'avant et l'arrière. 5/10

Pour rappel, OVH construit lui-même ses serveurs, la mise en place de nouveaux datacenters délocalisés est donc largement facilité puisque le container peut-être pré-assemblé à Roubaix, avant de partir vers sa destination finale. À Strasbourg, OVH va simplement empiler des containers C est justement la méthode qui va être utilisée pour construire le datacenter de Strasbourg : des containers déjà équipés seront directement acheminés sur le site. Ils peuvent ensuite être empilés les uns sur les autres afin de stocker un maximum de machines sur un espace réduit, mais tout en assurant un bon refroidissement à l ensemble. Le container vide et sur la photo de droite, un exemple de container terminé Cette technique n est par contre pas exportable à travers le monde dans tous les pays où OVH dispose de locaux. En effet, si les contraintes météorologiques de Roubaix et Strasbourg sont favorables à ce système, installer ce genre de containers au Maghreb est par exemple, tout bonnement impensable Lors de cette rencontre, nous avons donc eu l occasion de visiter le tout nouveau datacenter baptisé Roubaix 4, il arrive donc après Roubaix 1, 2 et 3 qui sont toujours en activité. Il s agit d un bâtiment de six étages conçu pour abriter et refroidir efficacement jusqu'à 35 000 serveurs. Celui-ci est unique au monde et il fait la fierté de la société roubaisienne, mais il ne devrait pas rester seul longtemps puisqu'un Roubaix 5 pourrait sortir de terre d'ici une dizaine de mois seulement. De l extérieur, le bâtiment semble relativement banal, même si la présence de plusieurs ventilateurs derrière les façades peut surprendre. Pour commencer notre visite, nous passons par la salle de contrôle (à priori semblable à celles des autres datacenters) reprenant de manière détaillée l état des serveurs, des connexions réseau, des sondes de températures et des onduleurs. Les images captées par les caméras de vidéo surveillances sont également retranscrites sur les nombreux moniteurs présents dans cette salle. 6/10

Germain devant le bâtiment Roubaix 4 et en gros plan un des nombreux ventilateurs. Pour la petite histoire, sachez que mardi 28 juin aux environs de 12h00, l état des serveurs dans les quatre datacenters de Roubaix était le suivant (sur un peu moins de 90.000 en activité sur le site) : Roubaix 1 : 3 pannes et 0 livraison Hors Service Roubaix 2 : 5 pannes et 2 livraisons Hors Service Roubaix 3 : 8 pannes et 0 livraison Hors Service Roubaix 4 : 0 panne et 1 livraison Hors Service Roubaix 4 : un bâtiment plein de vide... Nous prenons ensuite de la hauteur pour arriver sur le toit. C est à ce moment-là que l on peut vraiment se rendre compte de l originalité de ce bâtiment : il est creux! Des trous, des p'tits trous encore des petits trous avec à chaque fois un ventilateur derrière Notre guide nous explique le principe de fonctionnement : à chaque étage, l air rentre par les côtés extérieurs de l immeuble, via des aérations filtrées, passe ensuite à travers le couloir et donc au milieu des baies et des serveurs, pour ressortir à l intérieur du cube. Des ventilateurs pour accélérer le flux d air sont présents, mais ils ne se déclenchent qu en fonction des besoins. Les serveurs sont maintenus à une température avoisinant les 30 C.... et d'eau! Bien évidemment, le système de refroidissement utilise toujours du liquide et, sur les serveurs déjà en production que nous avons aperçus, le processeur et le chipset sont équipés d'un waterblock. Actuellement, un petit millier de machines sont installées dans ce bâtiment, mais de nouveaux serveurs arrivent chaque jour. Chaque étage dispose de son propre circuit et ils sont donc INdépendants les uns des autres. Henryk Klabla nous précise que le débit de l eau et de l ordre de 80 m³ par heure 7/10

pour un étage (soit l'équivalent de cinq camions-citernes). Chaque étage peut contenir jusqu'à 5000 serveurs. Quelques photos du circuit de refroidissement liquide. Tant que la roue rouge tourne, tout va bien... Le liquide employé est de l eau, mais elle a bien évidemment subi plusieurs traitements chimiques, puis elle a été déminéralisée pour finalement devenir diélectrique (elle n est plus conductrice de courant). La température du liquide est de 37 C à l entrée du circuit et elle ressort à 41 C, soit une augmentation de seulement 4 C. Mais il s'agit là d'une température malheureusement idéale pour développer tout un tas de bactéries... C est une des nombreuses problématiques rencontrées par OVH lors du déploiement de son système en 2003, mais qui fait maintenant partie du passé. Henryk Klaba nous précise qu il aura fallu beaucoup de recherches et d expérimentations pour trouver le bon dosage entre la pression, la température, le diamètre des tuyaux, le débit, etc. Les techniciens ont eu droit à la parole lors de la conception Lors de la conception, les techniciens ont également eu droit à la parole pour exprimer leurs besoins et pour donner leur avis. Ils semblent avoir été écoutés et la disposition des baies dans les couloirs leur facilite la tâche : ils peuvent passer devant et derrière les serveurs et il n y a pas de cloisonnement par salle. Il est ainsi beaucoup plus facile et rapide de se déplacer pour intervenir sur une machine. Construction du datacenter (principalement à base de bois) - Crédit photos : OVH Un coût de construction divisé par 20! Le coût de construction est relativement faible comparé à un datacenter classique. En effet, il faut compter environ 1 million d'euros pour le bâtiment alors qu'un modèle classique coûte à peu près 20 fois plus cher... Henri Klabla nous annonce un total de 30 à 40 millions d'euros pour Roubaix 4, le système de refroidissement, les alimentations électriques et les 35.000 serveurs inclus. C'est généralement le prix à débourser pour un datacenter, mais sans les machines. 8/10

Après Roubaix 4, nous avons pu aller visiter le plateau technique d'ovh. Celui-ci reprend un concept très à la mode en ce moment : l open space. Dans cette grande salle, les techniciens sont regroupés par catégories : les serveurs dédiés d'un côté, les mutualisés de l'autre, la VOIP, les noms de domaines, etc. Quelques photos du village des techniciens... - Crédit photo OVH pour la première et la deuxième Nous ne pourrons par contre pas vous présenter d'autres prises de vues, les responsables ne souhaitant pas que d'éventuelles informations confidentielles présentent sur les écrans ne puissent être divulguées. Henryk Klaba et Germain Masse - Une partie du personnel avec la fameuse Hache d'ovh La société semble vouloir cultiver un esprit d entreprise. En effet, à son arrivée, chaque employé reçoit plusieurs T-shirts à l effigie de la marque avec des dessins plus ou moins originaux. De même, une cantine est disponible gratuitement pour tous ses employés et une crèche est en cours de construction, elle devrait être finie pour la rentrée 2011. Des salles de sports et de détente sont également accessibles gratuitement, une politique qui n est pas, sans rappeler celle d une autre grande société du web... Et la suite? C'est outre-atlantique que ça se passe... Le nouveau challenge d'ovh est d'aller conquérir l'amérique... Pour cela, la société est en train de développer encore un nouveau datacenter, mais dans la banlieue de Montréal cette 9/10

fois-ci. En effet, pour s'attaquer aux États-Unis, il semble important de disposer de locaux sur place. Les contraintes thermiques n'étant pas les mêmes (il fait bien plus froid en hiver par exemple), il ne sera à priori pas possible d'utiliser exactement le même bâtiment que Roubaix 4 et des modifications sont à prévoir. Sachez enfin que pour mener à bien ce projet, Octave partira prochainement s'exiler à Montréal. Nous remercions OVH de nous avoir permis de visiter ses locaux, son infrastructure et d'avoir répondu à nos questions. http://www.pcinpact.com/d-194-1-data_center_ovh_roubaix.htm &copy 2009 - http://www.pcinpact.com 10/10