FLASH INFORMATIQUE FI



Bellatrix – le nouveau cluster de calcul de l’EPFL géré par le DIT


Depuis décembre 2010, l’EPFL a adopté une nouvelle politique CSE (Computational Science and Engineering), dont les buts sont de promouvoir l’utilisation efficace des équipements par, entre autres, la mutualisation des serveurs de calcul via un partage des coûts entre l’EPFL (électricité, infrastructure, matériel dédié au stockage et à la connectivité) et les labos (noeuds de calcul). Le cluster Bellatrix est le deuxième à suivre cette politique.



In December 2010, EPFL adopted a new CSE (Computational Science and Engineering) policy which aims to promote the efficient usage of the HPC equipment by the pooling of the resources and a sharing of the costs between EPFL (electricity, infrastructure, hardware dedicated to storage and connectivity) and the labs (computing nodes). Bellatrix is the second computing cluster following this policy.



Vittoria REZZONICO


hpc.epfl.ch/bellatrix


Les serveurs de calcul Callisto et Pleiades arrivant en fin de vie entre décembre 2012 et février 2013, il est nécessaire de continuer à satisfaire les besoins en calcul des chercheurs avec un nouveau cluster de calcul qui doit d’un côté remplacer les équipements devenus obsolètes (en central ainsi que dans les facultés) et de l’autre équiper les laboratoires des nouveaux professeurs. Bellatrix nous permet de mettre à disposition des chercheurs de l’EPFL une nouvelle ressource HPC afin de couvrir leurs besoins en calcul. Ce cluster s’inscrit dans le renouvellement régulier des machines et est en accord avec la politique HPC de l’EPFL.
Le projet Bellatrix prévoyait au début l’acquisition d’un serveur frontal, d’une machine d’administration et de backup, d’un système de stockage, de noeuds de calcul, d’interconnexions nécessaires et de prestations diverses liées à l’installation, l’architecture proposée devant être assez ouverte pour permettre son doublement (en noeuds de calcul et espace de stockage) en 2013.
Comme l’architecture était connue dès l’analyse du marché, nous avons pu avoir des promesses d’achat des différents laboratoires impliqués dans le HPC, ce qui a permis de dimensionner la machine en cours de route, selon les requêtes des chercheurs. Vu le succès de ce cluster, le CoPil-HPC a décidé, d’entrée de jeu, d’acheter une configuration bien plus grande que celle prévue initialement, afin de satisfaire les besoins des chercheurs dès la mise en production.

Le choix du processeur [1]

Pour choisir le CPU le plus adapté à nos besoins, nous avons évalué le coût énergétique sur un échantillon d’applications utilisateurs représentatives :

  • CPMD (dynamique moléculaire)
  • Quantum ESPRESSO (structures électroniques et modélisation des matériaux à l’échelle nanoscopique)
  • MiniFE (éléments finis implicites et non structurés)
  • GEAR (évolution et formation de galaxies)

Le coût énergétique pour chaque application a été calculé selon la formule 
\[
 \int_{t_{start}}^{t_{end}} P(t) dt \approx \sum_{t_{start}}^{t_{end}} P(t) \Delta t
\]

en mesurant la consommation électrique P(t) à chaque seconde (Δt = 1s) entre le début (tstart) et la fin (tend) de l’exécution.
Le temps de calcul a aussi joué un rôle dans le choix du processeur. Nous avons donc choisi le processeur le plus avantageux d’un point de vue énergétique tout en gardant un temps de calcul raisonnable.

fig. 1 – coût énergétique du benchmark (en kJ ramenés au cas test sur le processeur à 2.2GHz)

fig. 2 – durée du benchmark (en secondes ramenées au cas test sur le processeur à 2.2GHz)
Sur la figure 1, nous comparons la consommation électrique des différents cas tests pour 16 cores. Sur la figure 2, nous illustrons le temps de calcul nécessaire à la résolution de chaque problème. Dans ces deux figures, les valeurs sont relatives au cas test sur le CPU à 2.2GHz afin de mieux pouvoir comparer les 4 applications choisies.
Évidemment, le coût énergétique est inférieur sur le processeur à basse fréquence et le temps de calcul est moindre sur le processeur avec la fréquence la plus élevée, mais on peut remarquer qu’entre le processeur à 1.8 GHz et celui à 2.2 GHz le gain en énergie est petit par rapport au gain en temps CPU. Par contre, entre le processeur à 2.2 GHz et celui à 2.6 GHz, un grand gain en énergie nous coûte peu en temps CPU. Ceci est remarquable surtout pour Quantum Espresso. Le processeur à 2.2 GHz est le meilleur compromis entre efficacité énergétique et rapidité.

Planification

Le projet Bellatrix suit les recommandations HERMES, ce qui a amené une certaine rigueur dans les procédures et dans le contrôle de la qualité.
Début 2012, une étude de l’existant a été faite afin de dimensionner la machine, en termes de quantité de RAM par noeud, ainsi que de nombre total de cores. En parallèle, une étude de marché a été menée pour choisir a priori l’architecture (contrairement aux fois précédentes, où l’architecture était laissée libre aux fournisseurs). Des benchmarks ont été exécutés sur différentes architectures (sur des AMD Interlagos et des prototypes d’Intel Sandy Bridge). En terme de performances, l’architecture la plus adaptée à nos utilisateurs s’est avérée être Sandy Bridge d’Intel.
En mars 2012, après la release officielle des processeurs Sandy Bridge, une étude supplémentaire a été menée pour fixer une fréquence. Elle a été choisie en fonction de l’efficacité énergétique sur des applications réelles : le facteur green a joué un rôle important lors de ce choix.
L’appel d’offres OMP s’est déroulé entre mars et juillet 2012, et, sur décision du CoPil-HPC, l’EPFL a commandé un cluster Dell/Serviware de 6144 cores, qui a été livré en septembre 2012 et sera en production au mois de décembre 2012. Le concours a été passionnant, toutes les offres (7 offres de 6 vendeurs) étaient d’excellente qualité.

Spécifications du cluster Bellatrix

Le cluster comporte :

  • une frontale ;
  • un noeud d’administration et de backup ;
  • 384 noeuds de calcul basés sur l’architecture Intel Sandy Bridge chacun avec :
    • 2 x 2.2GHz processeur 8-cores,
    • 32 GB de RAM ;
  • connectivité InfiniBand QDR ;
  • système de fichiers parallèle GPFS de 200TB.

... pour un total de 6144 cores, une puissance crête de 108 TFLOPs et une consommation électrique moyenne à pleine charge CPMD (pour la partie noeuds de calcul) de 78.5 kW.
Toute l’infrastructure occupe 6 racks de 52U localisés dans la nouvelle salle machines en INJ  [2].
Le système d’exploitation est RedHat Entreprise Server et le cluster est géré par xCAT2. L’outil d’ordonnancement des tâches est PBSPro, qui est également utilisé sur les autres clusters gérés par le DIT. Sur Bellatrix sont mis à disposition les logiciels usuels pour du calcul, entre autres des compilateurs (gcc, Intel), des bibliothèques MPI, ... Il est bien évidemment toujours possible de demander l’installation de nouveaux logiciels pertinents pour le calcul.

Depuis début 1997, les serveurs de calcul partagés sont nommés après des entités célestes. Bellatrix vient s’ajouter à cette carte stellaire.
Bellatrix (aussi appelée γ Orionis) est la troisième étoile la plus brillante dans la constellation d’Orion, située sur son épaule gauche. Âgée de 20 millions d’années et environ sept fois plus massive que le soleil, cette géante bleue se trouve à 250 années-lumière de chez nous. Elle est l’étoile de la constellation d’Orion la plus proche de chez nous.

Bellatrix le cluster est situé dans la salle machines en INJ, Bellatrix l’étoile sera visible à l’est au-dessus de l’horizon ce 15 novembre à 20:30.

Accès à Bellatrix

Le cluster sera disponible pendant 4 ans du 1er décembre 2012 au 30 novembre 2016 [3]. Il est possible d’y accéder en mode production ou en mode test. Les deux dernières semaines de novembre, la machine sera disponible pour des tests de scalabilité (runs sur toute la machine) aux utilisateurs qui en feront la demande.

Mode production

  • Achat de parts du cluster. Ces parts sont définies à l’avance pour chaque période de 6 mois.
  • Achat de noeuds privés.

Mode test

  • Accès gratuit à la machine pour un nombre limité d’heures CPU et sous certaines restrictions.

Remarquons que 8 noeuds sont dédiés au débogage du lundi au vendredi, de 9 heures à 17 heures.
Un échéancier complet relatant les périodes de financement, les modalités d’achats ainsi que les caractéristiques de gestion des jobs est disponible sur le Web  [4].
Tenté-e-s par ce nouveau cluster ? Alors n’hésitez pas à le tester en demandant un compte  [5] ou à nous contacter pour de plus amples renseignements  [6].

Remerciements

Ce projet est le résultat d’une collaboration entre plusieurs entités, je tiens à remercier en particulier :

  • le CoPil-HPC pour le travail fourni, en particulier son Président, le Prof. Avellan, pour la réactivité lorsqu’un feu vert était nécessaire de sa part ;
  • le HPC-Tech pour la collaboration dans l’élaboration du cahier des charges, la récolte des benchmarks ainsi que leur évaluation et le choix du constructeur ;
  • Vincent Keller pour le côté green ;
  • l’équipe des benchmarks ;
  • l’équipe HPC du DIT y compris Fabien Figueras ;
  • Aristide Boisseau pour la collaboration lors de l’implantation matérielle et les mesures ;
  • Chiara Tanteri du DIT ;
  • Nina Stoltzenberg de la DABS.

[1] KELLER, Vincent, REZZONICO,Vittoria. The Energy-to-Solution Metric : How To Make More Science For Less Money, submitted to The Journal of Supercomputing.

[2] BOISSEAU, Aristide. Un nouveau centre de calcul à l’EPFL, FI 5/2012, juin 2012,

[3] Un prolongement éventuel de la durée de vie de la machine sera discuté par le CoPil-HPC début 2015

[4] Pointeurs sur les documents relatifs à Bellatrix

[5] Interface de gestion de comptes

[6] Questions concernant les modes d’accès, les achats, le financement ; le support



Cherchez ...

- dans tous les Flash informatique
(entre 1986 et 2001: seulement sur les titres et auteurs)
- par mot-clé

Avertissement

Cette page est un article d'une publication de l'EPFL.
Le contenu et certains liens ne sont peut-être plus d'actualité.

Responsabilité

Les articles n'engagent que leurs auteurs, sauf ceux qui concernent de façon évidente des prestations officielles (sous la responsabilité du DIT ou d'autres entités). Toute reproduction, même partielle, n'est autorisée qu'avec l'accord de la rédaction et des auteurs.


Archives sur clé USB

Le Flash informatique ne paraîtra plus. Le dernier numéro est daté de décembre 2013.

Taguage des articles

Depuis 2010, pour aider le lecteur, les articles sont taggués:
  •   tout public
    que vous soyiez utilisateur occasionnel du PC familial, ou bien simplement propriétaire d'un iPhone, lisez l'article marqué tout public, vous y apprendrez plein de choses qui vous permettront de mieux appréhender ces technologies qui envahissent votre quotidien
  •   public averti
    l'article parle de concepts techniques, mais à la portée de toute personne intéressée par les dessous des nouvelles technologies
  •   expert
    le sujet abordé n'intéresse que peu de lecteurs, mais ceux-là seront ravis d'approfondir un thème, d'en savoir plus sur un nouveau langage.