FLASH INFORMATIQUE FI



Le Grid EPFL

déploiement et évolution




Marie-Christine SAWLEY

Pierre KUONEN

Ralf GRUBER


Calcul scientifique : spécificités et besoins

Le calcul scientifique est la branche de la science qui vise à comprendre les phénomènes complexes grâce à l’analyse réalisée par des outils mathématiques et des systèmes informatiques performants. En tant que branche scientifique, le calcul scientifique se distingue de l’informatique dont le but est d’étudier les systèmes, les langages et les communications. Par contre, le calcul scientifique est un important vecteur pour les recherches en informatique dans les domaines spécifiques des applications à haute performance (HPC) et du calcul parallèle et distribué.

Grâce aux capacités combinées des unités de traitement -processeurs et systèmes-, des réseaux, des unités de gestion de données et des compétences de spécialistes, le calcul scientifique permet non seulement de faire le lien important entre théorie et expérience, il permet également d’élargir les frontières de l’investigation scientifique en s’attaquant à des problèmes dont l’étude serait inenvisageable sans son apport. Comme exemples nous pouvons mentionner le calcul de structures moléculaires pour le développement de nouveaux matériaux ou médicaments, l’optimisation de formes complexes comme celles d’un bateau (Alinghi) ou d’un avion (SmartFish), les sciences de la terre, la prévision de la météo, du climat, des risques naturels (Snowpack) [1] ou de l’évolution de la bourse, le séquen&eacuteage en génomique ou en protéomique ou encore l’interprétation de résultats provenant d’expériences en physique des plasmas.

Le développement du calcul scientifique demande la combinaison de trois éléments cardinaux :
• la disponibilité importante de cycles de calcul et de systèmes de communication adaptés ;
• des systèmes de stockage de données performants, qui combinés avec les précédents, permettent l’analyse de données complexes, soit expérimentales soit issues de la simulation ;
• les compétences de spécialistes en outils mathématiques, en informatique parallèle/distribuée et optimisation

Le Grid : apport potentiel et défis

Aujourd’hui l’existence sur le réseau d’un très grand nombre de systèmes de traitement et de dépôt de données, sous forme de bases de données plus ou moins structurées, permet d’envisager la constitution de systèmes virtuels puissants, en agglomérant les cycles et les données entièrement distribués, pour atteindre des capacités significatives : c’est le principe de la grille de calcul, le Grid [2].

Rappelons que le Grid est fondé sur trois principes de base :
• mise en pool de ressources de calcul par récupération de cycles de calcul ;
• accès banalisé et transparent à des données distribuées ;
• disponibilité d’agent ou de courtier, qui fournit au client la meilleure ressource disponible sur la grille à un moment donné.

Certains pensent que le Grid s’affirmera comme une infrastructure indispensable pour le mode scientifique, le transfert de technologie et le monde économique. Le concept est attrayant : en rassemblant les capacités de systèmes distribués, il permet au moins sur le papier, d’atteindre des puissances indispensables à l’avancement de certains domaines de la science à un co&agravet, en cas de succès, supportable. Il vise à la création d’organisations virtuelles dynamiques, en offrant un partage des ressources sécurisé entre individus et entre institutions. Mais il reste encore beaucoup de chemin à parcourir pour atteindre ce but, et probablement une des clefs du succès réside dans le partage de savoir et de savoir-faire entre un grand nombre d’acteurs sur ce réseau.

2003 : la situation du calcul scientifique à l’EPFL

Elle peut être résumée de la manière suivante :
• les moyens pour l’infrastructure sur les enveloppes Ecole subissent de fortes compressions ;
• nous avons les applications de haute performance sur le site ;
• le cadre collaboratif s’est étendu, notamment avec le programme SVS (Science, Vie, Société) ou avec l’entrée dans des réseaux de compétences tels le SIB (Swiss Institute of Bioinformatics) ;
• pour des projets d’envergure, il existe un gisement de financement possible à divers niveaux : confédération, EU, gouvernements nationaux et régionaux, constructeurs IT et industriels.

Stratégiquement, il est important pour le calcul scientifique
• de favoriser la constitution d’un plan de développement, à la fois pour les relations avec les fournisseurs de solutions matérielles et logicielles et avec nos partenaires de recherche ;
• d’augmenter les sources et le niveau de financement de manière à ne pas grever les enveloppes pour l’informatique de base ni à dépendre en totalité des attributions hors enveloppes du CEPF.

Il convient de s’efforcer de multiplier les sources de financement et les associations capables d’amener des fonds supplémentaires. Pour ce faire, la constitution d’une masse critique augmentant la visibilité et la dissémination du savoir et du savoir-faire devient une tâche essentielle. L’EPFL a la possibilité de pouvoir monter un prototype de grille de calcul en interne, puis de l’étendre avec certains de ses partenaires universitaires, d’une part, comme le SIB (plate-forme VITAL-IT), l’ETHZ, le Swiss HPCN Grid, le CSCS, les Unis, les HES et l’industrie, d’autre part. Ce prototype permettra d’étendre le potentiel vers de nouvelles applications comme, la biologie structurale, l’imagerie et la visualisation.

La démarche proposée

Etape 1

Constituer un groupe d’intérêt visant à défendre le domaine auprès des organes de décision désignés, à partager les expériences et à apprendre ensemble.

Etape 2

Identifier les ressources pour atteindre les objectifs scientifiques du domaine.

Etape 3

Permettre une utilisation optimale, concertée entre pairs, des ressources mises en réseau. Le but essentiel est de dessiner un plan d’irrigation facilitant l’échange entre les groupes concernés de compétences et de puissance de calcul. Il doit aussi permettre d’optimiser l’usage des diverses architectures. Les groupes pour lesquels l’exploration des capacités du Grid présente un intérêt deviendront les partenaires naturels d’une première grille montée avec le middleware existant.

Etape 4

Optimiser les activités de prospection pour faire évoluer le Grid selon un plan d’évolution. Le site www.epfl.ch/e-scale sera notamment là pour soutenir l’effort de diffusion du savoir et du savoir-faire.

Projet de développement d’un outil essentiel pour appuyer les phases 3 et 4

Actuellement, les chercheurs de l’EPFL ont accès à un parc de machines diverses : SGI Origin3800 (une machine à mémoire partagée à 128 processeurs), Janus (SC45 HP de 25 quadri processeurs Alpha ES45 reliés par un switch Quadrics), des clusters de PC à mémoire distribuées dans les Facultés SB et STI (les PC sont reliés par des switchs Fast Ethernet), NEC SX-5 (machine vectorielle à 16 processeurs à mémoire partagée installée au CSCS), IBM Regatta à 256 processeurs du CSCS (machine à mémoire distribuée). Toutes ces machines ont des caractéristiques différentes et ont donc leurs raisons d’être.

On imagine bien que la soumission d’un ensemble de tâches sur un Grid de machines parallèles diverses se fasse plus ou moins efficacement. Un minimum de règles de circulation doivent être implémentées, de manière à permettre un flux de tâches efficace et qui permette cette croissance. Par exemple, une tâche qui nécessite peu de communication gagne à être exécutée sur une machine ayant un système de communication peu performant, donc à moindre co&agravet. La caractérisation de ces tâches peut s’avérer difficile dans la pratique.

Le projet d’Intelligent Scheduler de Pierre Kuonen et Ralf Gruber va dans la direction d’un bon emploi d’un parc composite de machines parallèles. Il permet de compléter les capacités des systèmes d’allocation de ressources existants comme Netsolve, Globus, LSF, SGE, PBS, Condor, WOS ou autres, pour précisément attribuer les ressources nécessaires à des tâches spécifiques. Notamment, il s’agit de caractériser les applications et les machines parallèles à l’aide de paramètres qui mesurent la performance des processeurs, de l’accès à la mémoire, du système de communication, ainsi que les besoins de l’application en nombre d’opérations et messages à envoyer entre processeurs [3]. Le plan de développement du projet Intelligent Scheduler est prévu à l’heure actuelle sur 3 ans. A terme, il contiendra plusieurs parties :

• Un système de base de données distribuée (aussi appelé datawarehouse) qui inclura les paramètres des machines et des applications ainsi que toutes les décisions prises lors de la soumission des applications. Après chaque exécution, les paramètres seront mis à jour et toute information utile pour une statistique ultérieure stockée.
• Un système de découverte des ressources qui en fonction du contexte de la requête identifiera parmi les ressources disponibles dans le Grid, celles qui sont potentiellement utilisables pour le service désiré par l’utilisateur.
•  ;Le système de soumission qui choisira, parmi les ressources potentiellement utilisables, celles qui sont les mieux adaptées à la réalisation du service désiré. La (les)meilleure(s) ressource(s) est(sont) définie(s) par des critères à fixer, tels que le co&agravet de l’utilisation, le temps d’attente, la disponibilité, mais aussi l’adéquation de la machine aux applications.
• La statistique pour choix d’une nouvelle machine (type de processeurs, architecture, etc.). L’information selon laquelle, par exemple, un type de machine a été souvent demandé, mais n’était pas disponible, permettrait d’orienter le choix d’un complément du parc informatique.
• La statistique sur l’efficacité des applications afin d’identifier celles dont l’optimisation peut réduire le co&eacutet d’exécution. Pour ce faire, le groupe de support et les compétences élargies du groupe d’intérêt seront là.

Si cette idée vous intéresse, si vous voulez en savoir plus, n’hésitez pas à contacter les auteurs.

Références

[1] Perry Bartelt and Michael Lehning A physical SNOWPACK model for the Swiss avalanche warning : Part I : numerical model, Volume 35, Issue 3, Pages 123-145, Cold Regions Science and Technology, Elsevier, November 2002
[2]  I. Foster, C. Kesselman. The Grid : Blueprint for a New Computing Infrastructure. Morgan Kaufmann Publishers, 1998.
[3] R. Gruber, P. Volgers, A. de Vita, M. Stengel, and T.-M. Tran, Parameterisation to tailor commodity clusters to applications, Future Generation Computer Systems 19 (2003) 111-120, ou http://dit-archives.epfl.ch/SCR02/scr13_page37.pdf



Cherchez ...

- dans tous les Flash informatique
(entre 1986 et 2001: seulement sur les titres et auteurs)
- par mot-clé

Avertissement

Cette page est un article d'une publication de l'EPFL.
Le contenu et certains liens ne sont peut-être plus d'actualité.

Responsabilité

Les articles n'engagent que leurs auteurs, sauf ceux qui concernent de façon évidente des prestations officielles (sous la responsabilité du DIT ou d'autres entités). Toute reproduction, même partielle, n'est autorisée qu'avec l'accord de la rédaction et des auteurs.


Archives sur clé USB

Le Flash informatique ne paraîtra plus. Le dernier numéro est daté de décembre 2013.

Taguage des articles

Depuis 2010, pour aider le lecteur, les articles sont taggués:
  •   tout public
    que vous soyiez utilisateur occasionnel du PC familial, ou bien simplement propriétaire d'un iPhone, lisez l'article marqué tout public, vous y apprendrez plein de choses qui vous permettront de mieux appréhender ces technologies qui envahissent votre quotidien
  •   public averti
    l'article parle de concepts techniques, mais à la portée de toute personne intéressée par les dessous des nouvelles technologies
  •   expert
    le sujet abordé n'intéresse que peu de lecteurs, mais ceux-là seront ravis d'approfondir un thème, d'en savoir plus sur un nouveau langage.