FLASH INFORMATIQUE FI



Architecture de Mizar




Jacques MENU


L’article du FI10/04 accessible à l’URL http://dit.epfl.ch/publications-spip/article.php3?id_article=808 annonçait le choix du matériel dans le cadre du projet Mizar, visant à remplacer la machine SGI 3800 par un système mixte comportant une machine SMP et un cluster de noeuds partageant des frontales communes.

La solution choisie a été celle proposée par la maison Dalco AG, illustrée à la fig. 1 et comportant :

JPEG - 16.7 ko
Vue synoptique de Mizar


  • une machine SMP (mémoire partagée) SGI Altix 350 à 16 processeurs Itanium (1.6 GHz, cache de 9 MB) et 64 GB de mémoire vive ;
  • un cluster Dalco de 160 noeuds biprocesseur Opteron 250 à 2.4 GHz, chaque noeud disposant de 4 GB de mémoire ;
  • quatre réseaux de communications privés ;
  • six frontales, accessibles publiquement ; les noeuds de calcul étant sur des réseaux privés.

Des délais de livraison plus longs que prévus ont fait que le système n’est finalement arrivé sur le site que courant février dernier.

Un point particulier à cet ensemble est le panachage de deux architectures matérielles 64 bits, soit des Opteron d’AMD et des Itanium d’Intel.

Nous en décrivons les grandes lignes dans le présent article, les détails techniques plus fins étant accessibles par l’utilitaire infos directement sur le système.

Frontales

Il y en a six, toutes biprocesseur, de type Opteron sauf ict. Elles sont listées ci-dessous par leur nom privé avec leur rôle :

  • nfs1 et nfs2 sont deux serveurs de fichiers NFS hébergeant les dossiers racine des utilisateurs des noeuds Opteron, un volume accessible par tous les noeuds Opteron et un espace de type scratch, non sauvegardé, à disposition des utilisateurs ;
  • login1 et login2 sont dédiées au travail interactif des utilisateurs ;
  • ict (Itanium Compile & Test) est une frontale Itanium permettant de compiler et de tester les applications devant être exécutées sur l’Altix ;
  • iplb (IP Load Balancer) tourne IPVS (IP Virtual Server) : c’est elle qui est connue par l’alias mizar.epfl.ch. Elle ventile les connexions SSH entrantes alternativement sur login1 et login2.

Les dossiers racine des utilisateurs du SMP sont quant à eux répartis sur ict et l’Altix, et rendus accessibles à ces deux machines par NFS. La frontale à utiliser pour travailler est ict dans ce cas.

Comme iplb est une machine a priori peu chargée, il a été décidé d’y faire tourner différents services, dont le serveur Web Apache accessible à l’URL mizar.epfl.ch.

Réseaux privés

Il sont au nombre de quatre, soit :

  • un réseau haute performance à faible latence Myrinet pour la communication entre les processeurs Opteron avec MPI ;
  • un réseau à 1 Gbit/s pour l’accès aux serveurs de fichiers NFS ;
  • un réseau d’administration à 100 Mbit/s ;
  • un réseau d’accès aux consoles des différentes machines, accessibles via IP.

L’accès à Internet depuis les réseaux privés est réalisé par un NAT (Network Address Translation) tournant sur iplb.

Logiciels

Les machines Opteron tournent SuSE 9.2, tandis que les Itanium dont le SGI Altix tournent SLES (SeSE Linux Enterprise Server) 9.

L’outil retenu pour le batch est PBSPro, en version 5.4.2 actuellement.

Les différents compilateurs et les librairies d’usage courant sont accessibles au moyen de l’utilitaire modules, qui permet à l’utilisateur de choisir parmi ce qui est disponible selon ses besoins.

Les modules installés sont distincts sur Opteron et Itanium, comme on le voit aux figures 2 et 3. Sur la partie Opteron, Dalco recommande l’utilisation des librairies optimisées ACML et GOTO. Le jeu des modules à disposition sera affiné et complété selon les besoins des utilisateurs.

{{iplb}} root - ~ > module avail

----------------------------------- /usr/local/Modules/versions ----------------------------------
3.1.6

------------------------------- /usr/local/Modules/3.1.6/modulefiles ------------------------------
dot     module-cvs module-info modules   null    use.own

---------------------------------- /usr/local/Modules/modulefiles ---------------------------------
acml_generic_pgi/2.5.0      goto/0.96-2(default)       pathscale/2.0(default)
acml_pathscale/2.5.1       intel-cc/8.1.024         pgi/5.2(default)
acml_scalapack_generic_pgi/2.5.0 intel-fc/8.1.021

{{iplb}} root - ~ > module whatis acml_pathscale
acml_pathscale    : loads the ACML for Pathscale 2.5.1 64-bit library environment

fig. 2 : modules installés sur Opteron

{{ict}} root - ~ > module avail

----------------------------------- /usr/local/Modules/versions ----------------------------------
3.1.6

------------------------------- /usr/local/Modules/3.1.6/modulefiles ------------------------------
dot     module-cvs module-info modules   null    use.own

---------------------------------- /usr/local/Modules/modulefiles ---------------------------------
SunJava2/1.4.2                intel-fc/8.1.020
intel-cc/8.1.023               intel-idb/8.1.036
intel-compilers-7.1/C_C++_7.1.042_F90_7.1.044 intel-mkl/7.0.016

fig. 3 : modules installés sur Itanium

Nous remercions Trach-Minh Tran du CRPP pour sa contribution dans le domaine des benchmarks et du choix des compilateurs Intel.

Authentification des utilisateurs

Elle se fait via le serveur LDAP de l’EPFL.

Les personnes extérieures qui ont besoin de travailler sur Mizar dans le cadre de collaborations avec des laboratoires de l’Ecole doivent être enregistrées dans LDAP par les responsables de ces laboratoires.

Actuellement, il n’y a pas de quotas de ressources. Le CoPIL HPC (comité de pilotage HPC/MPC) définira qui a droit à quoi dans ce domaine.

Sauvegarde

Elle se fait en deux phases :

  • dans un premier temps, les fichiers à sauvegarder sont recopiés sur un espace disque intermédiaire de 3 TB connecté à ict ;
  • sur ict tourne un client Veritas qui sauvegarde les informations sur le robot STK du DIT. Cette solution a l’avantage de donner un accès rapide à un fichier sur le disque intermédiaire sans devoir toujours aller le rechercher sur le robot, tout en ne nécessitant qu’une licence Veritas.

Tolérance aux pannes

La perte d’un noeud de calcul Opteron dégrade simplement la puissance totale à disposition et interrompt le job en cours sur ce noeud. En revanche, la perte d’une frontale est beaucoup plus problématique : la seule forme de fail-over sur Mizar est que si l’une des frontales de login, login1 ou login2, tombe, l’autre prend en charge toutes les connexions SSH entrantes jusqu’à ce la machine fautive soit de nouveau active.

Situation actuelle

Au moment de l’écriture de ces lignes :

  • les benchmarks contractuels ont tourné avec des performances au moins aussi bonnes que les valeurs annoncées par Dalco et SGI lors de l’appel d’offres ;
  • diverses corrections et améliorations sont en cours sur l’ensemble du système ;
  • Mizar est ouverte depuis deux semaines aux utilisateurs en mode pré-production, soit sans sauvegarde des dossiers utilisateurs et avec le risque de redémarrages avec un court préavis ;
  • nous travaillons à finaliser l’environnement logiciel, en liaison avec Dalco et les utilisateurs qui nous soumettent leurs problèmes.

La mise en production normale de la machine devrait intervenir sous peu.



Cherchez ...

- dans tous les Flash informatique
(entre 1986 et 2001: seulement sur les titres et auteurs)
- par mot-clé

Avertissement

Cette page est un article d'une publication de l'EPFL.
Le contenu et certains liens ne sont peut-être plus d'actualité.

Responsabilité

Les articles n'engagent que leurs auteurs, sauf ceux qui concernent de façon évidente des prestations officielles (sous la responsabilité du DIT ou d'autres entités). Toute reproduction, même partielle, n'est autorisée qu'avec l'accord de la rédaction et des auteurs.


Archives sur clé USB

Le Flash informatique ne paraîtra plus. Le dernier numéro est daté de décembre 2013.

Taguage des articles

Depuis 2010, pour aider le lecteur, les articles sont taggués:
  •   tout public
    que vous soyiez utilisateur occasionnel du PC familial, ou bien simplement propriétaire d'un iPhone, lisez l'article marqué tout public, vous y apprendrez plein de choses qui vous permettront de mieux appréhender ces technologies qui envahissent votre quotidien
  •   public averti
    l'article parle de concepts techniques, mais à la portée de toute personne intéressée par les dessous des nouvelles technologies
  •   expert
    le sujet abordé n'intéresse que peu de lecteurs, mais ceux-là seront ravis d'approfondir un thème, d'en savoir plus sur un nouveau langage.