FLASH INFORMATIQUE FI



Le cluster du pauvre




Martin RENTSCHLER

Bob de Graffenried


La demande de ressources de calculs devenant de plus en plus importante, et les ressources du DIT étant limitées, il y une demande croissante de petites grilles de calculs autonomes. Aujourd’hui, l’avancement technologique dans le domaine de l’informatique nous permet de construire des petites grilles de calculs à des prix très compétitifs. (voir aussi l’article de Vittoria Rezzonico Beowulf-me ! ).
Au sein du LHE (Laboratoire d’Hydraulique Environnementale) sont menées des simulations de mécanique des fluides tridimensionnelle qui demandent des ressources de calculs de haute performance. Une simulation standard prend typiquement plusieurs jours sur Mizar (cluster Linux du DIT) et les gros calculs prennent parfois plus d’un mois pour s’effectuer. Ceux-ci passent d’abord un temps considérable dans des files d’attente pour ensuite être traités par 64 processeurs pendant 24 à 48 heures au maximum. En parallèle à ces modélisations numériques, nous pratiquons des expériences en mécanique des fluides utilisant des techniques optiques (PIV, PTV) qui demandent beaucoup de mémoire vive pour le traitement des images. C’est alors qu’est tombée la décision de mettre en place un système de calcul indépendant au sein de notre unité.
En début 2008, nous avons alors assemblé quatre machines identiques ayant pour caractéristiques principales :

  • 2 CPU Quad-Core Intel Xeon E5335 (4x 2GHz), total de 32 coeurs pour les 4 machines ;
  • 8GB RAM DDR2 (4x2GB) ;
  • 2 interfaces LAN Gigabit.

En premier lieu, c’est l’une des 4 machines qui eut le rôle de maître, la seule donc à contenir de l’espace disque servant au stockage des résultats ainsi qu’au système d’exploitation (Ubuntu), que les autres noeuds chargent via une interface réseau. Plus tard, nous avons monté une machine supplémentaire pour remplir ce rôle.
Les machines sont inter-connectées via deux switchs, le premier pour la communication TCP-IP (ssh, nfs, dhcp...) et le second pour la communication des données de calcul (mpi). Le protocole TCP-IP produit des temps de latence très longs, car il n’est pas optimisé pour transférer beaucoup de petits paquets rapidement sur un réseau simple. Une bonne alternative représente ici l’utilisation du protocole gammaqui dans notre cas a multiplié la performance de l’ensemble par deux. Dans un souci d’optimisation des temps de latence, le choix des switchs est également important, mais les modèles de gamme professionnelle restent peu abordables ce qui nous a contraints à nous tourner vers des switchs Gigabit standards pour le grand public. Grâce encore une fois à l’avancée technologique, à travers laquelle la consommation et la température des composants sont continuellement en baisse, il n’a pas été nécessaire d’installer une climatisation, bien que les 4 machines soient installées sur une surface de 2 mètres carrés et dans un local non aéré.
Une comparaison des performances avec Mizar a montré que pour le même nombre de noeuds ce cluster calcule deux fois plus rapidement que Mizar, ce qui n’est pas étonnant vu que nos machines sont beaucoup plus récentes. De plus, le coût de calculs de ces machines est largement inférieur : considérant un investissement de départ de CHF 12’000.-, sans prendre en compte l’amortissement et le coût du kWh, le coût de calcul nous revient à CHF 0.021 par heure et par CPU, comparé à CHF 0.65 sur Mizar ou CHF 5.50/(CPU*h) sur Altrix, le tout calculé sur une durée d’utilisation de deux ans.
Une comparaison avec Callisto, mise en service en automne passé par le DIT, amène à des coûts annuels par processeur quad-core (tenant compte d’un amortissement sur quatre ans et des deux tiers de coûts pris en charge par des crédits centraux) de :
1’500’000/4/3/256 =488.30 CHF.
Par un calcul analogue, notre cluster revient à :
12’000/4/8=375 CHF.
Callisto est cependant plus performant tant au niveau des CPU que de la communication, en étant toutefois d’un an le cadet de notre cluster.
En résumé, un petit cluster est donc une alternative au rapport coût/performances intéressant pour des petits clusters autonomes. Une pareille mise en place est tout à fait envisageable pour un laboratoire. Pour certaines applications et certains utilisateurs, une solution à petite échelle peut être plus intéressante qu’une solution à grande échelle en utilisant du matériel standard, simple à obtenir, à remplacer et surtout moins cher à l’acquisition.

Ndr : L’infrastructure présentée ci-dessus est une des possibilités de cluster de calcul présentes dans l’École. Rendez-vous dans un prochain FI pour une vue d’ensemble des moyens de calcul disponibles. À cette occasion, la nouvelle politique de financement HPC sera présentée.



Cherchez ...

- dans tous les Flash informatique
(entre 1986 et 2001: seulement sur les titres et auteurs)
- par mot-clé

Avertissement

Cette page est un article d'une publication de l'EPFL.
Le contenu et certains liens ne sont peut-être plus d'actualité.

Responsabilité

Les articles n'engagent que leurs auteurs, sauf ceux qui concernent de façon évidente des prestations officielles (sous la responsabilité du DIT ou d'autres entités). Toute reproduction, même partielle, n'est autorisée qu'avec l'accord de la rédaction et des auteurs.


Archives sur clé USB

Le Flash informatique ne paraîtra plus. Le dernier numéro est daté de décembre 2013.

Taguage des articles

Depuis 2010, pour aider le lecteur, les articles sont taggués:
  •   tout public
    que vous soyiez utilisateur occasionnel du PC familial, ou bien simplement propriétaire d'un iPhone, lisez l'article marqué tout public, vous y apprendrez plein de choses qui vous permettront de mieux appréhender ces technologies qui envahissent votre quotidien
  •   public averti
    l'article parle de concepts techniques, mais à la portée de toute personne intéressée par les dessous des nouvelles technologies
  •   expert
    le sujet abordé n'intéresse que peu de lecteurs, mais ceux-là seront ravis d'approfondir un thème, d'en savoir plus sur un nouveau langage.