FLASH INFORMATIQUE FI

Numéro spécial HPC


Nouveau Blue Gene/P – l’ordinateur le plus rapide de l’ouest




Pascal JERMINI

Christian CLÉMENÇON


Dans le cadre du projet CADMOS, l’EPFL accueille dès cet été un nouveau supercalculateur de type IBM Blue Gene/P. Cet ordinateur massivement parallèle, doté de 4096 noeuds de calcul quadri-coeur et de 16 TB de mémoire, atteint une puissance de calcul théorique maximale de 56 TéraFLOPS, avec un impact énergétique réduit par rapport à des machines de puissance comparable.Grâce à ce nouveau Blue Gene/P, la région ouest suisse dispose d’un puissant outil pour promouvoir le calcul scientifique à haute performance dans les instituts qui participent à l’initiative CADMOS (voir article sur Le projet CADMOS dans ce numéro).

Dans le cadre du projet CADMOS, l’EPFL accueille dès cet été un nouveau supercalculateur de type IBM Blue Gene/P, en remplacement du Blue Gene/L vieux de quatre ans. Ce nouvel ordinateur massivement parallèle est doté de 4096 noeuds de calcul quadri-coeur et de 16 TB (Térabytes) de mémoire, pour une puissance de calcul théorique maximale de 56 TéraFLOPS (56 x 1012 opérations à virgule flottante par seconde). Il se situe ainsi vers le 85ème rang mondial au classement www.top500.org. En passant du L au P, la puissance de calcul du Blue Gene a été multipliée par 2.5 pour un volume d’occupation quasi identique. Son bilan énergétique a aussi été significativement amélioré, grâce à un meilleur rendement et à un système de refroidissement à eau. Pour satisfaire aux demandes de plus en plus exigeantes des simulations scientifiques en matière de volume et de flux de données persistantes, notamment en biologie, le système offre 1 PB (1000 TB) d’espace disque et un débit de lecture/écriture fichier pouvant atteindre jusqu’à 10 GB/s. Ainsi, grâce au nouveau système Blue Gene/P, la région ouest Suisse dispose d’un puissant outil pour promouvoir le calcul scientifique à haute performance (HPC) dans les instituts qui participent à l’initiative CADMOS (voir article Le projet CADMOS dans ce numéro).

Installation

Tout comme son prédécesseur, le Blue Gene/P (abrégé BG/P) de CADMOS est installé dans la salle machine du Domaine IT de l’EPFL et est géré par son groupe exploitation (DIT-EX).
Le démontage du BG/L s’est déroulé pendant la première semaine d’août. Les ingénieurs d’IBM sont ensuite arrivés sur place pour la phase d’installation du BG/P qui a duré environ trois semaines. Après l’acceptation et les tests de validation, la production a démarré début septembre et le système tourne à plein régime depuis cette date. La figure 1 illustre les quatre racks du BG/P en salle machine.

JPEG - 5.2 ko
fig. 1
Vue des quatre racks du Blue Gene/P

Il faut souligner que l’arrivée du Blue Gene/P a nécessité des travaux d’aménagement importants des infrastructures d’alimentation en courant électrique secouru et de refroidissement hydraulique.

Caractéristiques du Blue Gene/P CADMOS

Le BG/P CADMOS compte au total 16384 coeurs et 16 TB de mémoire vive. Bien que plus performante, l’architecture de machine parallèle du BG/P est similaire à celle du BG/L. Le système est formé d’une rangée de 4 racks de 1024 noeuds de calcul chacun, soit 4096 noeuds câblés de manière à former un tore tridimensionnel régulier de dimensions 16x16x16. Un rack est composé de deux mid-planes de 512 noeuds. Le mid-plane est la plus petite partie du BG/P dont les noeuds de calcul peuvent être interconnectés en un tore tridimensionnel. Un mid-plane peut lui-même être subdivisé en blocs de 128 noeuds, et même de 32 noeuds. La quasi-totalité des fonctions d’un noeud est assurée par un circuit intégré de type PowerPC 450, spécialement conçu pour le BG/P. Les différents composants matériels du système BG/P CADMOS sont illustrés à la Figure 2.
Du point de vue efficacité énergétique - en terme de puissance de calcul fournie par unité de puissance électrique consommée - le BG/P se situe dans le peloton de tête des solutions HPC existantes (voir www.green500.org), avec un rendement de 371.67 MFLOPS/Watt. Ce bon résultat est essentiellement dû à l’utilisation de puces de faible puissance à basse fréquence, et donc à faible dissipation de chaleur. Cette solution permet d’intégrer 1024 noeuds quadri-coeurs dans une armoire de 0.7 x 0.96 x 1.95m qui consomme au maximum 40 kW. De plus, pour diminuer encore son impact écologique, le système CADMOS est partiellement refroidi à l’eau.

Différences entre BG/L et BG/P

Blue Gene/LBlue Gene/P
Système4 racks, 4096 noeuds, 8192 coeurs4 racks, 4096 noeuds, 16384 coeurs
mémoire principale2 TB16 TB
Perf. max / LINPACK23/18 TFLOPS56/47 TFLOPS
Efficacité énergétique208.31 MFLOPS/Watt371 MFLOPS/Watt
RefroidissementAirAir et eau (par échangeurs)
Consommation électrique racks de calcul100kW160kW
Noeud
Coeurs2 x PowerPC 4404 x PowerPC 450
Fréquence CPU700 MHz850 MHz
L3 cache4 MB8 MG
Mémoire principale512 MB - 5.6 GB/s4 GB - 13.6 GB/s (2 x 16 bytes)
Réseaux
Point-a-point en tore 3D2.1 GB/s (6 x 2 x 0.175)5.1 GB/s (6 x 2 x 0.425) - 3.5 us
Collectif en arbre2.1 GB/s (3 x 2 x 0.350)5.1 GB/s (3 x 2 x 0.850) - 2.5 us
E/S système de fichiers256 x 1 GbE56 x 10 GbE fibre optique

Les différences essentielles entre le BG/L et le BG/P au niveau matériel se trouvent dans la cadence des processeurs légèrement augmentée à 850 MHz, le nombre de coeurs par noeud qui est passé de deux à quatre, la mémoire vive multipliée par huit, et les entrées/sorties beaucoup plus performantes. A noter que l’augmentation de la taille mémoire est d’importance, car elle élargit considérablement le champ des applications aptes à tourner sur cette plate-forme. Le tableau de la page précédente énumère les différences principales au niveau matériel entre l’ancien BG/L et le nouveau BG/P.

Type d’applications pouvant bénéficier de la puissance de calcul du BG/P

Le BG/P est un superordinateur massivement parallèle, offrant un rapport élevé entre bande passante des communications et vitesse de calcul des processeurs. La machine est dite équilibrée, car la vitesse de ses processeurs est plutôt modeste et la bande passante de ses réseaux relativement élevée. Le BG/P a donc essentiellement été conçu pour des applications parallèles capables de s’exécuter efficacement sur un très grand nombre de processeurs et dont les tâches communiquent souvent et échangent de grandes quantités de données entre elles. C’est fréquemment le cas de simulations dans de nombreux domaines scientifiques.

JPEG - 9.5 ko
fig. 2
Vue éclatée de la configuration du Blue Gene/P de CADMO

Architecture du système

La figure 3 schématise l’architecture générale du système BG/P de CADMOS. À droite, la machine parallèle est représentée par ses 4 racks. À gauche, on distingue les systèmes périphériques, dont le serveur central de gestion de l’ensemble (noeud de service), les serveurs de fichiers et de backup, et les deux frontales. Un réseau fonctionnel de type 10 Gb Ethernet interconnecte les noeuds de la machine parallèle et tous les systèmes périphériques. Un second réseau Ethernet permet au noeud de service de contrôler la machine parallèle (pour les diagnostics et le démarrage des noeuds). Finalement, les frontales présentent le système à l’extérieur via le réseau EPNET de l’EPFL et offrent aux utilisateurs l’environnement de compilation, de lancement des tâches et de mise au point des applications.

JPEG - 14 ko
fig. 3
Architecture du système Blue Gene/P de CADMOS

En ce qui concerne le système de stockage des données de la nouvelle installation BG/P, il faut relever l’extraordinaire capacité de 1 PB et le débit potentiel de 10 GB/s des systèmes de fichiers parallèles mis à disposition des utilisateurs. Deux systèmes de stockage SAN (Storage Area Network) gèrent séparément les fichiers de données et les métadonnées. Le SAN des fichiers de données (de type DCS9900) comprend deux armoires de 600 disques de 1 TB chacune. Le SAN des métadonnées (de type DS4700) comprend 96 disques de 450 GB. Dix serveurs de fichiers orchestrent les accès aux fichiers provenant des noeuds de calcul et des systèmes périphériques. Le système de fichiers parallèle GPFS (General Parallel File System) d’IBM assure l’organisation et l’accès des fichiers au niveau logiciel.

Conclusion

Le Blue Gene/P de CADMOS dote la région lémanique d’un puissant outil de simulation au service des institutions participantes. De manière plus générale, le supercalculateur Blue Gene est un acteur incontournable dans le cercle restreint des machines à haute performance. Depuis ce printemps, un Blue Gene/P de 72 racks installé à Jülich en Allemagne a atteint le PétaFLOPS. Pour assurer la continuité, IBM a annoncé le Blue Gene/Q pour 2011-2012, son prochain atout dans la course à l’ExaFLOPS.

Informations pratiques

Administration et information système :

Site Web :

Demande d’ouverture d’un compte :



Cherchez ...

- dans tous les Flash informatique
(entre 1986 et 2001: seulement sur les titres et auteurs)
- par mot-clé

Avertissement

Cette page est un article d'une publication de l'EPFL.
Le contenu et certains liens ne sont peut-être plus d'actualité.

Responsabilité

Les articles n'engagent que leurs auteurs, sauf ceux qui concernent de façon évidente des prestations officielles (sous la responsabilité du DIT ou d'autres entités). Toute reproduction, même partielle, n'est autorisée qu'avec l'accord de la rédaction et des auteurs.


Archives sur clé USB

Le Flash informatique ne paraîtra plus. Le dernier numéro est daté de décembre 2013.

Taguage des articles

Depuis 2010, pour aider le lecteur, les articles sont taggués:
  •   tout public
    que vous soyiez utilisateur occasionnel du PC familial, ou bien simplement propriétaire d'un iPhone, lisez l'article marqué tout public, vous y apprendrez plein de choses qui vous permettront de mieux appréhender ces technologies qui envahissent votre quotidien
  •   public averti
    l'article parle de concepts techniques, mais à la portée de toute personne intéressée par les dessous des nouvelles technologies
  •   expert
    le sujet abordé n'intéresse que peu de lecteurs, mais ceux-là seront ravis d'approfondir un thème, d'en savoir plus sur un nouveau langage.