FLASH INFORMATIQUE FI



Déploiement d’une grille de calcul à l’EPFL - vers un plan d’urbanisme ?




Marie-Christine SAWLEY


Le terme grille de calcul est la traduction du Computational Grid : néologisme apparu vers la fin des années 90 pour qualifier la disponibilité de grandes quantités de ressources (calcul, stockage, services et applications) sur les réseaux informatiques. L’analogie avec le power grid, réseau pour la production et distribution d’énergie électrique, était lancée.

Cette analogie est séduisante, mais trompeuse. Le réseau électrique se borne à distribuer du courant. Le computational grid est lui beaucoup plus complexe de par la nature très variée des ressources et des services que l’on peut en extraire. Il est néanmoins clair que ce domaine est devenu le hot spot, après le milieu des années 90 qui a vu l’éclosion des prototypes de grappes de stations et de systèms intégrés basés sur des éléments off-the-shelf.

Photo : Alain Herzog 

Les origines

La notion de partage des ressources sur le réseau n’est pas une idée nouvelle puisque plusieurs papiers visionnaires (avant la disponibilité du réseau !) ont été rédigés dans les années 60 sur ce sujet, parmi lesquels on peut citer Man-Machine par J.C.K. Licklider, suivi par The Computer as a Communications Device (1968, Licklider, co-auteur avec Robert Taylor), et les premiers essais de calcul en temps partagé.

La mise en commun des ressources de calcul est à la portée du développeur d’applications depuis l’arrivée de PVM hétérogène il y a quelques années. Certaines applications explorent une voie différente en permettant la récupération des cycles de calcul inutilisés auprès de toutes les stations ou PC faisant partie d’un pool : l’exemple le connu est Condor, de M. Livny de l’Université du Wisconsin.

Il est intéressant de noter qu’avec ce type de produit, on touche un aspect socio-comportemental qui est une des clefs du succès de ces initiatives : si Condor avait été perçu par le propriétaire du PC comme une intrusion qui lui était imposée, le concept serait mort avant d’avoir vu le jour ! Il se fonde au contraire sur la volonté de chaque détenteur de ressources de participer en espérant pouvoir retirer des ressources plus importantes ou de qualité différente et absente dans son environnement proche quand il en a besoin .

Dès 1996 se met sur pied un consortium, Globus, qui vise à développer le logiciel de base sur le modèle de l’open software et visant à mettre en réseau des ressources importantes. Le manuel fondateur du Grid est paru en 1999, de I. Foster (Argonne National Lab) et C. Kesselman (Université de Southern California). Depuis d’autres initiatives ont vu le jour, l’offre de middleware s’est enrichie, les grands constructeurs se lancent des actions de partenariat, et la plupart des pays développés ont démarré des programmes pour explorer le concept du Grid, son apport pour la recherche et l’enseignement et ses retombées socio-économiques.

Qu’est-ce que le Grid peut faire ?

Le concept du grid est basé sur le partage des ressources et la résolution de problèmes dans un environnement dynamique, hétérogène, multi-institutionnel et peut tendre même vers le soutien d’organisations virtuelles. Le Grid ne permet donc pas seulement de rendre disponibles des ressources partagées entre les institutions, mais aussi –et surtout– d’établir des modes collaboratifs qui peuvent évoluer entre l’architecture bien connue client-serveur en passant par le peer-to-peer intra-entreprise jusqu’au grid inter-institutionnel dans lequel chaque partenaire met à disposition dans la corbeille un certain nombre de ressources qui doivent être gérées en concertation selon un code de conduite pré-défini (policy-based management).

Nous pouvons illustrer le concept de Grid par trois modes de fonctionnement :

• la mise en commun de ressources de calcul disponibles ailleurs ;
• la fonction d’agent sur le réseau qui cherche et configure dynamiquement la meilleure ressource selon une requête formulée par le client ;
• l’accès facilité, intuitif et transparent à des données distantes et réparties.

Les défis de la construction d’un Grid

S’il est facile de construire un Grid entre quelques machines, les difficultés apparaissent dès que le réseau s’étend : les maillons les plus faibles rendent l’ensemble inopérant pour beaucoup d’applications si l’on n’y prend garde. Quelques exemples d’éléments-clés :

• essentiel pour le démarrage : trouver la bonne communauté et la bonne application ;
• au niveau technique :
 - les composantes logicielles choisies supportent-t-elles le scaling-up ?
 - quelle autorité délivre le certificat d’authentification ?
 - la répartition de la charge peut-elle s’effectuer automatiquement ?
 - comment les jobs sont-ils mis en queue ?
 - le Grid doit-il être planifié comme hiérarchique et gérer des clusters de clusters ?
 - comment paralléliser les applications ?
• au niveau organisationnel
 - gestion et comptabilisation des ressources
 - sécurité
 - intégrité des données organisationnelles
 - indicateurs de performance, retour sur investissement
 - cost of ownership
 - diffusion des connaissances entre les pionniers et ceux qui souhaitent en bénéficier par la suite.

Le contexte EPFL et les prochaines actions

Plusieurs groupes distribués sur le campus sont en train d’explorer le potentiel des clusters pour leurs applications de calcul. Faciliter l’échange de compétences et la fertilisation croisée permettrait une accélération dans cette construction, valoriserait cette expérience et permettrait à une plus grande communauté d’accéder à ces ressources. Ce processus de diffusion et de consolidation pourrait déboucher sur la mise sur pied d’une des pierres angulaires de la plate-forme pour le calcul scientifique à l’EPFL, avec les clusters de SMP et les systèmes gérés par le Centre de Calcul Scientifique national.

Si ces questions vous intéressent, si vous avez soumis une expression d’intérêt pour le 6th IST FP, si vous recherchez des compétences, si vous souhaitez contribuer à l’échange de savoir et de savoir-faire dans le domaine, si vous pensez qu’un plan d’urbanisme soutiendrait le déploiement des activités de calcul intensif à l’EPFL, rendez-vous sur le site nouvellement ouvert e-scale http://www2.epfl.ch/e-scale , ou contacter l’auteur.



Cherchez ...

- dans tous les Flash informatique
(entre 1986 et 2001: seulement sur les titres et auteurs)
- par mot-clé

Avertissement

Cette page est un article d'une publication de l'EPFL.
Le contenu et certains liens ne sont peut-être plus d'actualité.

Responsabilité

Les articles n'engagent que leurs auteurs, sauf ceux qui concernent de façon évidente des prestations officielles (sous la responsabilité du DIT ou d'autres entités). Toute reproduction, même partielle, n'est autorisée qu'avec l'accord de la rédaction et des auteurs.


Archives sur clé USB

Le Flash informatique ne paraîtra plus. Le dernier numéro est daté de décembre 2013.

Taguage des articles

Depuis 2010, pour aider le lecteur, les articles sont taggués:
  •   tout public
    que vous soyiez utilisateur occasionnel du PC familial, ou bien simplement propriétaire d'un iPhone, lisez l'article marqué tout public, vous y apprendrez plein de choses qui vous permettront de mieux appréhender ces technologies qui envahissent votre quotidien
  •   public averti
    l'article parle de concepts techniques, mais à la portée de toute personne intéressée par les dessous des nouvelles technologies
  •   expert
    le sujet abordé n'intéresse que peu de lecteurs, mais ceux-là seront ravis d'approfondir un thème, d'en savoir plus sur un nouveau langage.