FLASH INFORMATIQUE FI

Numéro spécial Calcul à haute performance à l’EPFL


Deux ans d’activité de Greedy – Point de vue d’utilisateurs




Pascal JERMINI

Michela THIEMARD


Le campus de l’EPFL, compte environ 3’000 ordinateurs appartenant au personnel, ainsi qu’environ 850 ordinateurs dans des salles de cours réservées aux étudiants. Généralement, ces machines ne sont que très peu utilisées pendant la nuit et le week-end. Pourquoi donc ne pas profiter des périodes d’inactivité pour mettre à contribution des chercheurs de l’EPFL la puissance de calcul de ces différentes machines, qui serait sinon perdue ? C’est le but de Greedy.

La récupération de cycles de calcul

Voilà maintenant deux ans que Greedy, le service de grille de calcul de l’EPFL fourni par le DIT, est disponible sur le campus. Le produit qui a été choisi pour le gérer est Condor, logiciel depuis peu sous la licence Apache 2.0, dont le but principal est de récupérer des cycles de calcul inutilisés. Il permet une gestion très fine des règles d’utilisation des ressources : il est en effet possible de spécifier selon quels critères une machine fera don de ses cycles de calcul qui seraient perdus autrement. Un exemple parmi tant d’autres est le suivant : les machines sont mises à disposition uniquement la nuit, de 20h à 8h, et pendant tout le week-end (c’est la politique actuelle par défaut, qui reste modifiable par le propriétaire de la machine).
Condor est un logiciel qui existe depuis maintenant 20 ans, et qui a fait ses preuves en termes de fonctionnalités et de stabilité. Son futur semble aussi assuré, car son développement continue toujours (les principaux développeurs de Condor sont des membres de l’université du Wisconsin, USA) et régulièrement de nouvelles mises à jour sont disponibles. De plus, l’ouverture récente du code source a permis de créer de plus amples collaborations avec des distributeurs de Linux, comme RedHat, afin d’intégrer au mieux Condor dans les canaux de distribution usuels de Linux.
Pendant ses deux premières années de vie, Greedy a rendu service à un bon nombre de chercheurs, et a totalisé plus de 1’800’000 heures de calcul récupérées sur quelque 400 machines réparties dans tout le campus.

La parole aux utilisateurs

Nous avons choisi trois de nos utilisateurs, afin qu’ils nous parlent de leur expérience avec Greedy. Ils viennent de deux domaines scientifiques : la physique et la cryptographie. Sans plus tarder, cédons-leur la parole.

Julien Dorier

À quel laboratoire êtes-vous rattaché et quelles sont ses principales activités ?
Je suis doctorant à l’EPFL à la CTMC (Chaire de théorie de la matière condensée de l’Institut de théorie des phénomènes physiques), sous la direction le Prof. Frédéric Mila.
Comment avez-vous entendu parler de Greedy ?
J’ai reçu un e-mail de votre part. De plus, j’en ai entendu parler par un collègue.
Sur quoi porte votre travail pour lequel vous utilisez Greedy ?
J’essaye de déterminer le diagramme de phase d’un système de spins frustrés (modèle Shastry-Sutherland) en utilisant une approximation semi-classique qui a l’avantage de demander peu de ressources de calcul par rapport aux autres approches numériques (qui ne sont presque d’aucune utilité pour ce modèle étant donné sa complexité). Le but de ce travail est d’essayer de déterminer si ce modèle permet de reproduire les plateaux dans la courbe d’aimantation du composé SrCu2(BO3)2, et si c’est le cas, de pouvoir prédire le type d’ordre sur et autour des différents plateaux.
En quoi Greedy vous est-il utile ?
J’utilise Greedy pour déterminer les états qui minimisent l’énergie du système. Cette opération est répétée en variant les paramètres du système, ce qui permet d’obtenir un diagramme de phase du modèle. Greedy m’est particulièrement utile, car je peux séparer le processus de minimisation en plusieurs jobs totalement indépendants. Des scripts me permettent de récupérer les résultats et de ne garder que ceux qui ont la plus faible énergie. Il est difficile de faire tourner mon code sur d’autres clusters qui n’acceptent pas des programmes si simples (pas de programmation parallèle, pas besoin de grosses ressources). L’alternative aurait été de faire tourner mes jobs sur les 20 PC du labo ...
Quel(s) logiciel(s) utilisez-vous sur Greedy ?
Code C++, fait maison.
Selon vous, combien d’heures de calcul avez-vous effectuées sur Greedy ?
Environ 500’000 pour cette année selon greedy.epfl.ch et beaucoup plus depuis que j’utilise Greedy. (en fait 760’000)
Un commentaire, une remarque ?
Merci ! ! ! Grâce à Greedy, j’ai pu réunir suffisamment de données pour un premier article concernant le modèle Shastry-Sutherland qui vient d’être soumis à Physical Review Letters.

Joppe BOSJoppe Bos

À quel laboratoire êtes-vous rattaché et quelles sont ses principales activités ?
Je suis doctorant à l’école doctorale d’informatique, communications et information. Le nom du laboratoire est LACAL (Laboratoire de cryptologie algorithmique), dirigé par le Professeur A. Lenstra. Au LACAL nous nous intéressons à des implémentations plus efficaces de (et donc aussi des attaques plus efficaces contre) tous types de primitives cryptographiques de bas niveau, telles que les systèmes de cryptographie à clé publique, les fonctions de hachages cryptographiques et les méthodes de chiffrement par blocs.
Par quel moyen avez-vous entendu parler de Greedy ?
Les administrateurs de Greedy nous ont contactés il y a quelques années.
Sur quoi porte votre travail pour lequel vous utilisez Greedy ?
Un des systèmes de cryptographie à clé publique les plus utilisés dans le monde est RSA. La sécurité de ce système cryptographique est basée sur le problème de la factorisation de grands nombres entiers. De manière à donner une bonne estimation de la taille des clés, c.-à-d. taille des nombres à factoriser, qui devrait être utilisée en pratique, un effort international est en cours, pour essayer de factoriser de grands nombres.
Pourquoi utilisez-vous Greedy ? Et en quoi vous est-il utile ?
Actuellement, la méthode la plus rapide qui soit connue pour factoriser de grands nombres entiers est l’algorithme de factorisation par crible sur les corps de nombres. Cet algorithme est composé de plusieurs étapes, et la partie la plus longue en terme de temps de calcul peut être parallélisée sans aucune pénalité de temps. C’est cette étape qui est exécutée sur Greedy.
Quel(s) logiciel(s) utilisez-vous sur Greedy ?
Le logiciel utilisé est une implémentation de Number Field Sieve, un algorithme de factorisation par crible sur les corps de nombres généralisé.Cette implémentation a été faite par le Prof. Franke et par Thorsten Kleinjung à l’université de Bonn. Ce logiciel est open source, sous licence GPL.
Selon vous, combien d’heures de calcul avez-vous effectuées sur Greedy ?
Il est très difficile de faire une estimation, étant donné que le cluster n’est pas homogène, certains noeuds de calcul étant beaucoup plus rapides comparés à d’autres. Mais pour une estimation très grossière, on pourra dire à peu près 100’000 heures (en fait 315’000)
Un commentaire, une remarque ?
Merci d’avoir créé le grid Greedy, il a le pouvoir de faire la différence pour nos calculs !

Davide SARCHI

Davide Sarchi

À quel laboratoire êtes-vous rattaché et quelles sont ses principales activités ?
Je suis chercheur post-doc à l’EPFL dans le GTN (Groupe de Théorie des Nanostructures) dirigé par le Prof. V. Savona à l’ITP (Institut de Physique Théorique). Nos deux activités principales sont l’étude des polaritons excitoniques de microcavité (condensation et photoluminescence : propriétés de cohérence et thermodynamiques) et l’étude des processus de couplage dans les boites à semiconducteur.
Par quel moyen avez-vous entendu parler de Greedy ?
Par un article et des commentaires de collègues de l’EPFL.
Sur quoi porte votre travail pour lequel vous utilisez Greedy ?
J’étudie l’effet du désordre sur la photoluminescence de polariton de microcavité.
Pourquoi utilisez-vous Greedy ? Et en quoi vous est-il utile ?
J’utilise une méthode basée sur une généralisation des techniques Bogoliubov de Gennes, normalement utilisées pour traiter le problème de la condensation de Bose Einstein des gaz d’atomes. Cette méthode est très puissante, parce qu’elle permet de déterminer la photoluminescence directement avec un calcul en espace réel, donc sans demander de connaître les modes normaux (un concept qui n’est même pas valable pour un système hors équilibre). Toutefois, cette méthode demande une énorme mémoire si on veut produire des résultats réalistes pour un système 2D, parce qu’il faut résoudre un grand nombre de problèmes linéaires pour des grandes matrices creuses (de l’ordre de 100000*100000), avec des routines ARPACK.
Quel(s) logiciel(s) utilisez-vous sur Greedy ?
Matlab
Selon vous, combien d’heures de calcul avez-vous effectuées sur Greedy ?
presque 100’000, en comptant les calculs en queue. (en fait 37’000)
Un commentaire, une remarque ?
Ce type de recherche, qui a l’ambition de reproduire quantitativement des résultats expérimentaux et fournir des indications utiles pour la projection de nouveaux systèmes, serait impossible sans la ressource de Greedy. En plus, je trouve que la gestion de Greedy et le support donné aux utilisateurs sont excellents tant d’un point de vue technique que humain.

Devenir utilisateur ou contribuer à Greedy ?

Rien de plus simple, rendez-vous sur greedy.epfl.ch ou contactez les administrateurs pour toute question.



Cherchez ...

- dans tous les Flash informatique
(entre 1986 et 2001: seulement sur les titres et auteurs)
- par mot-clé

Avertissement

Cette page est un article d'une publication de l'EPFL.
Le contenu et certains liens ne sont peut-être plus d'actualité.

Responsabilité

Les articles n'engagent que leurs auteurs, sauf ceux qui concernent de façon évidente des prestations officielles (sous la responsabilité du DIT ou d'autres entités). Toute reproduction, même partielle, n'est autorisée qu'avec l'accord de la rédaction et des auteurs.


Archives sur clé USB

Le Flash informatique ne paraîtra plus. Le dernier numéro est daté de décembre 2013.

Taguage des articles

Depuis 2010, pour aider le lecteur, les articles sont taggués:
  •   tout public
    que vous soyiez utilisateur occasionnel du PC familial, ou bien simplement propriétaire d'un iPhone, lisez l'article marqué tout public, vous y apprendrez plein de choses qui vous permettront de mieux appréhender ces technologies qui envahissent votre quotidien
  •   public averti
    l'article parle de concepts techniques, mais à la portée de toute personne intéressée par les dessous des nouvelles technologies
  •   expert
    le sujet abordé n'intéresse que peu de lecteurs, mais ceux-là seront ravis d'approfondir un thème, d'en savoir plus sur un nouveau langage.