FLASH INFORMATIQUE FI



public averti Local Serveur FSB - la dernière extension


Dans le FI6/08 j’annonçais la création d’un nouveau local serveur pour la Faculté des Sciences de base. Deux ans plus tard, voici un bilan de son utilisation



In the FI issue 6/08 the creation of a new server room for the School of Basic Sciences was announced. Two years later, we can take stock of its usage.


Vittoria REZZONICO


Historique

Depuis sa création, début 2008, le local serveur de la Faculté des Sciences de base a subi plusieurs changements.
D’abord, à la livraison, tous les racks n’étaient pas présents - il n’y avait que 22 racks utilisables plus 2 racks télécom. Avant l’été, quelques mois après la livraison, il a fallu déjà compléter la salle avec les 6 racks restants, ceci surtout en raison de l’arrivée de nouveaux professeurs envisageant l’achat de clusters de calcul. Les équipements informatiques se renouvelant périodiquement, et leur consommation électrique par U  augmentant, fin 2009 la capacité électrique de la salle a été dépassée de même que celle de la climatisation. Il a donc été décidé de porter la salle à sa pleine capacité. Les travaux (de mars à avril 2010) ont consisté d’une part à tirer des câbles pour que les deux tableaux électriques soient utilisés à 100% et d’autre part à l’installation de 12 portes réfrigérantes pour soulager les deux unités de refroidissement.


Données techniques

Pour vous rafraîchir la mémoire, voici les données techniques de la salle au moment de son inauguration :

  • Surface : 100m² ;
  • Alimentation électrique totale, force : 2 fois 125A sur trois phases, ce qui correspond à 180kW ;
  • Alimentation électrique, onduleur : 80kVA ;
  • Nombre de racks : 22 (à 41 U), plus 2 racks réservés au réseau ;
  • Puissance de refroidissement (CRAC : Computer Room Air Conditioning) : 2 fois 75 kW. Il y a bien une allée chaude, mais elle n’est pas confinée.
JPEG - 5 ko
les unités de CRAC et les armoires électriques
JPEG - 4.9 ko
les unités de CRAC et les armoires électriques


Au début, le câblage des panneaux électriques permettait une charge d’à peu près 130 kW, ce qui donne environ 200kW de courant, tous types confondus.


Les portes réfrigérantes

Des portes réfrigérantes de type CoolAdd de la société Knürr (voir aussi l’article Défis techniques pour le centre de calcul, FI08/09) ont été choisies pour la simple raison que c’était l’option qui se prêtait le mieux à notre cas. Il s’agit de portes que l’on installe à l’arrière du rack, à la place des portes d’origine. Elles comportent 4 ventilateurs et un échangeur de chaleur. L’air chaud est guidé par les ventilateurs vers l’échangeur dans lequel circule de l’eau fraîche. Chaque porte nécessite de 1150 litres par heure d’eau fraîche (14 degrés C) et au maximum 700W d’électricité. Leur consommation dépend de la vitesse de rotation des ventilateurs. Une porte peut absorber jusqu’à 8kW de chaleur. Pour un fonctionnement efficace des portes, il faut, si possible, que ce soit uniquement l’air chaud qui passe à travers l’échangeur, autrement dit, il faut à tout prix éviter la recirculation d’air froid depuis le devant du rack vers l’arrière. Les trous à l’avant des racks et du faux plancher ont donc été bouchés avec des caches ; en outre, des ouvertures munies d’une grille ont été pratiquées devant les racks.

JPEG - 5.3 ko
évolution du local serveur en images : le local avant livraison
JPEG - 9.1 ko
évolution du local serveur en images : le local à la livraison
JPEG - 4.5 ko
évolution du local serveur en images : le local après l’installation des portes réfrigérantes (tout au fond)

Les travaux ont duré deux mois et ont comporté les étapes suivantes :

  • câblage des panneaux électriques ;
  • mise en service d’une pompe pour amener l’eau dans le local (cette étape a demandé une coupure totale de la climatisation pendant deux journées) ;
  • installation de tuyaux d’eau et valves au-dessous des racks ;
  • modification du faux plancher.

Données techniques

Voici les données techniques de la salle à la rédaction de cet article :

  • Surface : 100m²
  • Alimentation électrique, force : 2 fois 125A sur trois phases, ce qui correspond à 180kW.
  • Alimentation électrique, onduleur : 80kVA
  • Nombre de racks : 28 (à 41 U), plus deux racks réservés au réseau.
  • Puissance de refroidissement (CRAC) : 2 fois 75 kW + 12 fois 8kW, pour un total de 246kW
  • Système de refroidissement : avec portes réfrigérantes.



Données d’occupation

Le local serveur FSB héberge 18 clusters, dont 13 administrés par du personnel de SB-IT. Il s’agit pour la plupart de petits clusters appartenant à une unité. Les clusters comptent entre 30 et 720 coeurs.
Nous hébergeons aussi des serveurs de Faculté nécessaires à l’exploitation de services (serveurs de fichiers, contrôleur de domaine), des serveurs pour les sections et surtout des petits serveurs de labo (bases de données, serveurs Web, serveurs d’authentification,...).
Au total, il y a 3846 coeurs dans les clusters hébergés dans la salle, pour un total de 36.2 TFLOPS (Rpeak).
Le matériel hébergé dans la salle n’appartient pas exclusivement à des unités de la FSB : le laboratoire LACAL en I&C occupe deux de nos racks avec un cluster qui contribue pour une partie non négligeable à nos statistiques.


Estimation de l’évolution

En ne supposant qu’aucun changement au niveau politique de financement des équipements n’intervienne, et une consommation électrique au franc investi dans le matériel qui double tous les 5 ans, il est possible de prévoir à quel moment la capacité de notre infrastructure sera insuffisante.
L’estimation de la durée de vie du local nécessite la mesure de la consommation à un instant donné.
Des mesures de consommation du courant force avec une pince ampèremétrique ont été faites le 4 mars dernier. Le résultat donne une consommation totale de 96 kW. Il faut tenir compte du fait que lors de la mesure, 10% des équipements étaient éteints, car la capacité dans une des armoires électriques était insuffisante. Pour cette raison, 8kW avaient dû être mis sur l’onduleur. La consommation était donc de 116kW environ. La figure ci-après montre la courbe qui décrit l’évolution dans les années à venir. En comptant 10% de marge, la capacité sera dépassée dès l’été 2012.

JPEG - 10.6 ko
évolution de l’occupation de la salle

Or, ces prévisions supposent uniquement le renouvellement du matériel existant. Ceci ne tient pas compte d’éventuels nouveaux arrivés dans la Faculté, ni de la croissance des groupes existants. Pour pouvoir tenir jusqu’à la date susmentionnée, il a été décidé de ne plus accepter de nouveau matériel, mais uniquement des renouvellements de matériels existants.

Conclusions

Le local serveur FSB était un besoin réel. Sa création non seulement a amélioré la situation précédente (plusieurs petites salles dispersées), mais a aussi permis d’héberger du matériel pour lequel il n’y avait pas de place auparavant.
Le titre de l’article mentionne que celle-ci est la dernière extension, et la courbe à la figure 3 n’est pas rassurante. Deux solutions se présentent, soit trouver un élément modérateur afin d’aplanir cette courbe en se basant par exemple sur la notion de TCO (Total Cost of Ownership, y compris le prix de l’électricité), soit aller dans la direction d’un nouveau datacenter qui pourrait être situé au niveau de l’EPFL et avoir ainsi la scalability nécessaire et la taille critique pour être le plus efficace possible (notion de Green Datacenter).



Glossaire

U
(aussi appelé unité de rack). Le U est une unité de mesure qui décrit la hauteur des équipements informatiques rackables, c’est-à-dire qui sont supposés aller dans une armoire informatique. Un U correspond à 1.75 pouces (44.45 mm) de hauteur.


Cherchez ...

- dans tous les Flash informatique
(entre 1986 et 2001: seulement sur les titres et auteurs)
- par mot-clé

Avertissement

Cette page est un article d'une publication de l'EPFL.
Le contenu et certains liens ne sont peut-être plus d'actualité.

Responsabilité

Les articles n'engagent que leurs auteurs, sauf ceux qui concernent de façon évidente des prestations officielles (sous la responsabilité du DIT ou d'autres entités). Toute reproduction, même partielle, n'est autorisée qu'avec l'accord de la rédaction et des auteurs.


Archives sur clé USB

Le Flash informatique ne paraîtra plus. Le dernier numéro est daté de décembre 2013.

Taguage des articles

Depuis 2010, pour aider le lecteur, les articles sont taggués:
  •   tout public
    que vous soyiez utilisateur occasionnel du PC familial, ou bien simplement propriétaire d'un iPhone, lisez l'article marqué tout public, vous y apprendrez plein de choses qui vous permettront de mieux appréhender ces technologies qui envahissent votre quotidien
  •   public averti
    l'article parle de concepts techniques, mais à la portée de toute personne intéressée par les dessous des nouvelles technologies
  •   expert
    le sujet abordé n'intéresse que peu de lecteurs, mais ceux-là seront ravis d'approfondir un thème, d'en savoir plus sur un nouveau langage.