FLASH INFORMATIQUE FI

Numéro spécial Calcul à haute performance à l’EPFL


Panorama des projets de recherche sur le Blue Gene/L de l’EPFL




Pierre MARUZEWSKI


Le Calcul Haute Performance, HPC pour les intimes, est devenu depuis cette dernière décade un support informatique et numérique indispensable pour comprendre les phénomènes physiques existant dans la vie de tous les jours afin d’améliorer notre quotidien. L’EPFL s’est ainsi construite un pool de calculateurs et super calculateur afin de satisfaire la communauté HPC grandissante au sein de l’Ecole.
Cet article se focalise sur le super calculateur IBM Blue Gene/L (abrégé BG/L) acquis par l’EPFL en 2005 (fig. 1), en présentant les grandes activités de recherche HPC dans les domaines des sciences de la vie, des sciences de base, des sciences et techniques pour l’ingénieur.

JPEG - 5.9 ko
fig. 1
Le Blue Gene/L de l’EPFL

Depuis l’installation en 2005, il existe six projets en mode production.

Le projet Blue Brain représente une rencontre entre la neuroscience et le domaine HPC afin de comprendre les mécanismes de fonctionnement du cerveau par la reconstruction par ingénierie inverse de composants biophysiques et la mise en place de nouveaux modèles mathématiques pour la recherche médicale. Le projet Blue Brain est dirigé par le professeur Henry Markram de l’Institut des neurosciences de l’EPFL et compte plus de 35 neurobiologistes, modélisateurs, numériciens et architectes. La première phase de Blue Brain achevée en 2007 a permis de reconstruire virtuellement une colonne cérébrale d’un jeune rat. Pourquoi un rat ? En fait, le cerveau du rat est le plus proche homothétiquement parlant de celui de l’homme. Ainsi cette colonne cérébrale est constituée de 10’000 neurones complexes et de 30’000’000 synapses dynamiques à partir de cellules réelles de ce jeune rat (fig. 2).

JPEG - 10.8 ko
fig. 2
Colonne cérébrale du rat et neurone in vitro contre in silico

Les simulations menées par l’équipe du Dr. Felix Schürmann sont réparties de la manière suivante :

  • algorithme génétique de reconnaissance de formes pour des milliers de cellules à partir d’une base de données biophysique validé sur 2’048 processeurs par S. Druckmann et al [1] ;
  • algorithme de connexion entre les cellules nécessitant les 8’000 processeurs par J. Kozloski et al ;
  • simulation complète du réseau neuronique sur 8’192 processeurs par M. Hines et al.

L’article Exploiter la puissance du Blue Gene/L : un exercice d’équilibriste de Felix Schürmann détaille certains aspects du développement des simulateurs Blue Brain sur BG/L, et présente des mesures de performance.

Le projet PRION permet l’alchimie entre la dynamique moléculaire et le domaine HPC dans le but d’éradiquer la protéine Prion, agent infectieux et à l’origine de la tremblante du mouton et de la vache folle (fig. 3). Le projet Prion est dirigé par le Professeur Ursula Röthlisberger du LCBC (Laboratoire de chimie et de biochimie computationnelles) de l’EPFL. L’objectif du projet Prion est de déterminer pour la première fois un modèle structurel de la tremblante du mouton, de localiser les régions protéiniques contenant ces instabilités structurelles et enfin de comprendre le rôle spécifique des ions métalliques dans ce processus.

JPEG - 4.5 ko
fig. 3
La protéine Prion

La simulation numérique de la protéine Prion est réalisée par l’algorithme parallèle de dynamique moléculaire QM/MM-Car-Parrinello et nécessite de grandes ressources de calcul. La modélisation de la molécule Prion et la compréhension de son développement nécessitent des études préalables pour comprendre les mécanismes utilisés par la nature pour assurer la photostabilité des protéines. En fait, certains composants de protéines comme les acides aminés Trp (tryptophane), Phe (phénylalanine) et Tyr (tyrosine) absorbent la lumière à haute énergie proche des ultra-violets et donc altèrent la photostabilité des protéines. Ainsi dans le cadre du projet Prion, des simulations des propriétés photophysiques du Trp, aussi bien à l’état gazeux qu’en environnement protéinique sous la forme albumine humaine, ont été réalisées (fig. 4). Les résultats obtenus montrent que la nature utilise des interactions spécifiques avec la molécule d’eau pour garder ces protéines stables. Par contre, si on ôte l’eau, la protéine est alors détruite par la lumière [2].

JPEG - 13.5 ko
fig. 4
Albumine humaine


Le projet Multi Component Device relie la modélisation de nanotubes et le domaine HPC. Il est dirigé par le Professeur Wanda Andreoni du centre européen de calcul atomique et moléculaire, CECAM. L’objectif du projet MCD est de réaliser des simulations dites ab initio afin d’étudier la structure atomistique des nanotubes de carbone grâce au code de dynamique moléculaire Car-Parrinello. Les nanotubes de carbone semblent être à l’heure actuelle les meilleurs nouveaux composants pour remplacer les composants existants de type CMOS. Ces simulations permettent de trouver quel type d’électrode peut être couplé au nanotube de carbone. Deux métaux ont été testés : Pd (palladium) et Al (aluminium) (fig. 5). Et les résultats numériques obtenus sont en bon accord avec les résultats expérimentaux existants [3].

JPEG - 14.9 ko
fig. 5
Nanotube de carbone avec l’extrémité gauche en Pd et l’extrémité droite en Al.

Le projet Turbulence dans les plasmas en fusion allie la turbulence appliquée à la modélisation de tokamak et la simulation numérique directe dans le domaine HPC. Ce projet est sous la direction du Professeur Laurent Villard du CRPP (Centre de recherche en physique des plasmas) de l’EPFL. Les simulations numériques révèlent l’apparition et les caractéristiques de ces turbulences. Dans un tokamak tel qu’ITER (fig. 6) on s’efforce de confiner un mélange d’ions et d’électrons, à l’encontre des turbulences, pour déclencher des réactions de fusion. Les lignes de champ magnétique s’enroulent en hélice sur des surfaces magnétiques imbriquées en couches superposées (figure du haut). Dans une vue en coupe (figure en bas à droite) les trajectoires des particules, l’une piégée, l’autre passante, dérivent hors des surfaces magnétiques, mais restent confinées. Une vue de détail (figure en bas à gauche) montre la trajectoire d’une particule [4].
Les perturbations du potentiel électrostatique sont représentées sur la figure 7. Deux vues en coupe, en haut, perpendiculaires au champ magnétique, prises à des instants différents, montrent le développement de perturbations de courte longueur d’onde par rapport aux dimensions du tokamak. La figure en haut à gauche se situe à une phase plus précoce du développement de la turbulence. La vue tridimensionnelle, en bas, d’une surface magnétique montre que les perturbations forment des structures alignées avec le champ magnétique, dont les lignes de champ sont représentées sur la figure 6.

JPEG - 4.5 ko
fig. 6
Configuration d’un tokamak
JPEG - 6.4 ko
fig. 7
Simulation de la turbulence

Ces simulations ont été réalisées grâce au code parallèle de turbulence du CRPP nommé ORB5. Du point de vue scalabilité le code ORB5 est bien adapté à l’architecture BG/L comme le montre la figure 8. De plus, pour modéliser le coeur entier du tokamak ITER, seul 6.4 gigas particules sont nécessaires.

JPEG - 10.7 ko
fig. 8
Scalabilité du code de turbulence ORB5

Le projet Matériaux désordonnés relie la mécanique quantique par la théorie de la fonctionnelle de la densité au domaine HPC. Ce projet est dirigé par le professeur Alfredo Pasquarello de la chaire de simulation à l’échelle atomique de l’EPFL. Une des motivations principales consiste à donner une description réaliste des mécanismes qui ont lieu à l’échelle atomique et nanométrique, afin de fournir des informations complémentaires par rapport à l’expérience. Les interactions entre les atomes sont simulées à l’aide de calculs de haute performance. Ils permettent de visualiser les processus atomiques, agissant ainsi comme de véritables microscopes. Avec la montée en puissance des nanotechnologies, l’utilisation de ces techniques s’étend mondialement, touchant aux domaines de la physique, de la chimie, de la biologie et des sciences des matériaux. Des projets de recherche actuels concernent l’étude des matériaux désordonnés et des interfaces semi-conducteurs-oxydes, trouvant ainsi des applications respectivement dans l’industrie des fibres optiques et dans la technologie de la microélectronique. Ainsi les travaux de Peter Broqvist montrent que le HfO2 est un matériau désordonné pouvant remplacer ou être couplé au SiO2 pour former un nouveau semi-conducteur Si-HfO2 (fig. 9). La recette pour l’obtenir compte 4 phases :

JPEG - 3.8 ko
fig. 9
semi-conducteur-oxyde Si-HfO2
  • une simulation de dynamique moléculaire par le code Car-Parrinello pour générer la phase HfO2 ;
  • émission de la phase SiO2 par relaxation structurelle,
  • émission du semi-conducteur Si-HfO2 par relaxation structurelle,
  • étude des propriétés électroniques, localisation et élimination des défauts.

Ainsi, le semi-conducteur-oxyde Si-HfO2 obtenu par simulation HPC est en bon accord avec les mesures expérimentales disponibles dans la littérature (fig. 10) [5].

JPEG - 10.3 ko
fig. 10
Densité électronique et énergie du semi-conducteur-oxyde Si-HfO2

Le projet HydroDyna permet de relier le monde des machines hydrauliques à la simulation numérique du domaine HPC. Ce projet est dirigé par le professeur François Avellan du laboratoire de machines hydrauliques de l’EPFL. L’objectif de ce projet est de porter soit des logiciels commerciaux de simulation numérique en mécanique des fluides, CFD, sous BG/L, soit de créer des logiciels maison dédiés à l’architecture de BG/L afin de les appliquer dans la compréhension des phénomènes physiques mis en jeu dans les machines hydrauliques.

JPEG - 7.3 ko
fig. 11
Performance du code CFX version BG/L.


Ainsi, un prototype du logiciel commercial ANSYS CFX-R11 a été mis en place par l’équipe de développement CFX de Thomas Frank pour la plate-forme BG/L. Cette version est testée dans le cas d’un écoulement dans une conduite droite et infinie. Le nombre de noeuds du maillage augmente de 10 millions à 80 millions. Il est observé que le code prototype est bien paramétré pour le cas 40 millions de noeuds sur 512 processeurs.
L’application de CFX version BG/L pour une machine hydraulique complète nécessite au préalable le développement d’un partitionnement en adéquation avec l’architecture de BG/L. Par conséquent, la portabilité optimale de CFX pour BG/L est encore loin d’être atteinte.
La deuxième approche est alors de développer un code propre à l’architecture du BG/L. Dans ce cas, la méthode lagrangienne particulaire, SPH, a permis de mettre en place la simulation de l’impact d’un solide sur la surface libre de l’eau (fig. 12). Nous obtenons des performances moyennes et encourageantes pour 124’105’571 particules sur 2’048 processeurs (fig. 13) [6].

JPEG - 4.1 ko
fig. 12
Impact d’une boule de billard sur la surface de l’eau.
JPEG - 5.4 ko
fig. 13
Performance d’un code SPH sur BG/L

Conclusion

La communauté HPC de l’EPFL dispose de machines de calcul très performantes, dont le BG/L, indispensables de nos jours pour mener des activités de recherche dans de nombreux domaines scientifiques de pointe.

[1] S. Druckmann et al., A Novel Multiple Objective Optimization Framework for Constraining Conductance-Based Neuron Models by Experimental Data, Frontiers in Neuroscience 2007.

[2] S.R. Mercier, O.V. Bojarkin, A. Kamariothis, M. Guglielmi, M. Cascella, I. Tavernelli, Interaction of proteins with light, U.R., T.R. Rizzo, JACS 128, 16938, 2006.

[3] Vincenzo Vitale, Alessandro Curioni and Wanda Andreoni, Metal-Carbon Nanotube Contacts : The Link between Schottky Barrier and Chemical Bonding, J. AM. CHEM. SOC., 130, 5848-5849, 2008.

[4] P. Angelino, A. Bottino, R. Hatzky, S. Jolliet, O. Sauter, T. M. Tran and L. Villard, Effects of plasma current on nonlinear interactions of ITG turbulence, zonal flows and geodesic acoustic modes, Plasma Phys. Control. Fusion 48, 557-571, 2006.

[5] Peter Broqvist and Alfredo Pasquarello, Oxygen vacancy in monoclinic HfO2 : A consistent interpretation of trap assisted conduction, direct electron injection, and optical absorption experiments, APPLIED PHYSICS LETTERS 89, 262904, 2006.

[6] Pierre Maruzewski, Guillaume Oger, David Le Touzé and John Biddiscombe, High performance computing 3D SPH model : Sphere impacting the free-surface of water, IIIrd International ERCOFTAC SPHERIC Workshop, Lausanne, June, 4-6, 2008.



Cherchez ...

- dans tous les Flash informatique
(entre 1986 et 2001: seulement sur les titres et auteurs)
- par mot-clé

Avertissement

Cette page est un article d'une publication de l'EPFL.
Le contenu et certains liens ne sont peut-être plus d'actualité.

Responsabilité

Les articles n'engagent que leurs auteurs, sauf ceux qui concernent de façon évidente des prestations officielles (sous la responsabilité du DIT ou d'autres entités). Toute reproduction, même partielle, n'est autorisée qu'avec l'accord de la rédaction et des auteurs.


Archives sur clé USB

Le Flash informatique ne paraîtra plus. Le dernier numéro est daté de décembre 2013.

Taguage des articles

Depuis 2010, pour aider le lecteur, les articles sont taggués:
  •   tout public
    que vous soyiez utilisateur occasionnel du PC familial, ou bien simplement propriétaire d'un iPhone, lisez l'article marqué tout public, vous y apprendrez plein de choses qui vous permettront de mieux appréhender ces technologies qui envahissent votre quotidien
  •   public averti
    l'article parle de concepts techniques, mais à la portée de toute personne intéressée par les dessous des nouvelles technologies
  •   expert
    le sujet abordé n'intéresse que peu de lecteurs, mais ceux-là seront ravis d'approfondir un thème, d'en savoir plus sur un nouveau langage.