FLASH INFORMATIQUE FI

Numéro spécial HPC


Cluster – LPHE1 : de la simulation à l’analyse de données du LHC




Aurélio BAY

Marc-Olivier BETTLER

Paul SZCZYPKA

Cédric Potterat


Le Laboratoire de Physique des Hautes Énergie de l’EPFL est membre de la collaboration LHCb. L’expérience LHCb est l’une des quatre expériences majeures qui utilisent le LHC (Large Hadron Collider) au CERN. Le but de cette expérience est l’étude de l’asymétrie entre la matière et l’antimatière, ainsi que la mise en évidence de phénomènes de nouvelle physique. La complexité de la simulation du détecteur et de la physique couplée au taux exceptionnel de données attendues du LHC requiert le développement de nouvelles solutions informatiques.
Notre ferme d’ordinateurs utilise la structure de software spécialement développée par LHCb pour simuler précisément tous les aspects de l’expérience dans des conditions opérationnelles, des collisions de particules à la réponse du détecteur et la collecte des données.
De nombreux algorithmes pour les analyses physiques, allant de l’alignement du détecteur à la recherche du boson de Higgs, sont développés et maintenant testés sur ce cluster, en attente des premières données de l’expérience LHCb.

Introduction

Le LPHE (Laboratoire de Physique des Hautes Énergies) participe activement à l’expérience LHCb ((Large Hadron Collider beauty experiment,), l’une des quatre expériences majeures du nouvel accélérateur de particules du CERN, le LHC (Large Hadron Collider). Cette expérience, menée par une collaboration de plus de 500 physiciens, est principalement dédiée à l’étude de particules comprenant un quark b. Elle étudiera, en particulier, la violation de la symétrie CP qui permet de différencier la matière de l’antimatière et certaines désintégrations rares qui pourraient contredire notre connaissance actuelle. Tout comme les autres expériences du LHC, LHCb attend avec impatience les premières collisions de protons, conduisant à l’enregistrement des premières données pour la fin de l’année 2009.
LHCb s’attend à enregistrer chaque année un volume de données de l’ordre du Pétabyte. La solution trouvée pour le stockage et l’analyse d’une telle quantité de données est connue sous le nom du WLCG (Worldwide LHC Computing Grid). Il s’agit d’un réseau mondial de centres de calcul dans lesquels sont distribués à la fois le stockage des données enregistrées et leur analyse. LHCb distingue trois types de site de calcul en fonction de leur importance.
Les sites de premier niveau (TIER 1), sont les sites principaux de stockage et d’analyse de données. LHCb exploite sept sites TIER 1 : celui du CERN, ceux d’Italie, Espagne, Allemagne, France, Hollande et Angleterre. Le CERN sera responsable de la réplication des données du détecteur LHCb vers les différents sites de premier niveau quasiment en temps réel.
Les sites de second niveau (TIER 2), en plus grand nombre, mais d’importance moindre vont garder seulement un sous-ensemble des données, qu’ils copient temporairement depuis un site de premier niveau. Le centre de calcul suisse CSCS de Manno (TI) fonctionne pour LHCb comme tel. (Pour illustrer le modèle adopté par LHCb voir The LHCb computing data challenge DC06, dans Journal of Physics : Conference Series 119 (2008) 072023).
En plus de ces centres de calcul, chaque institution de la collaboration peut posséder un cluster local (TIER 3), dont l’accès est règlementé. C’est le cas du cluster du LPHE.
La gestion et la réplication des données, de même que la soumission, l’exécution et la récupération des jobs tournant sur le WLCG sont contrôlées par DIRAC (Distributed Infrastructure with Remote Agents’ Control), développé par LHCb. Ce projet a été conçu pour être hautement adaptable et supporte l’utilisation hétérogène des ressources et des différents systèmes mis à disposition de la collaboration. Ces ordinateurs et ressources proviennent non seulement du WLCG, mais aussi de sites indépendants comme celui de l’EPFL. Le cluster du LPHE à l’EPFL, dédié uniquement à LHCb, a été l’un des premiers sites de test pour le projet DIRAC et à terme devra être utilisable depuis le WLCG.
La raison d’être du cluster du LPHE est l’analyse physique des données qui seront enregistrées bientôt par l’expérience LHCb. Cependant, alors que ces données n’existent pas encore, le cluster a été abondamment utilisé dès sa mise en marche. L’utilisation actuelle comprend la production de simulation Monte Carlo, le développement d’algorithmes d’analyse ou encore les études pour l’alignement spatial des sous-détecteurs de l’expérience LHCb.

Structure du cluster

Les éléments formant ce cluster sont les mêmes que ceux utilisés par l’expérience LHCb pour le traitement de données brutes à la sortie du détecteur (trigger de l’expérience). Ce choix est motivé par la possibilité de partager les solutions aux problèmes software et hardware qui pourraient survenir de part et d’autre. Le cluster est composé de 60 noeuds, comprenant chacun deux processeurs à 4 coeurs (Intel Xeon E5420 Quad-Core 2.5GHz), 8 GB de RAM et un disque de 160GB. Deux noeuds sont utilisés interactivement pour la compilation, les 58 noeuds restants étant utilisés en mode batch. Le système d’exploitation est le Scientific Linux CERN SLC 4.8 en 64 bits, version adaptée de Red Hat Enterprise Linux. Les noeuds sont interconnectés en Gigabit Ethernet. Le système de disques comprend actuellement 30 disques de 1TB (SATA II) configurés en RAID5, donnant une capacité de stockage de 20TB. Prochainement, 60 nouveaux disques de 1TB seront installés et le volume de stockage atteindra alors 60TB effectifs.
Le système de queue et de soumission est géré par TORQUE et Maui, compatibles avec les programmes utilisés au CERN (comme couche supérieure) permettant la soumission et le contrôle des jobs dans le système de noeuds. À raison d’un job par coeur, un total de 464 (58 x 2 x 4) jobs peuvent tourner simultanément sur le cluster.
Tous les programmes et les librairies sont compilés dynamiquement en 64 bits avec le compilateur gcc 3.4 pour une meilleure efficacité. L’installation totale des programmes de simulations et d’analyses de LHCb a une taille d’environ 9 GB et contient plusieurs milliers de librairies compilées.

L’utilisation du cluster

La durée de vie d’une expérience de physique des particules, depuis son développement jusqu’à la fin de son exploitation est supérieure à une dizaine d’années. Cependant, il est fondamental de garantir la stabilité des logiciels développés par la collaboration. Pour supporter les inévitables changements technologiques survenant sur ce laps de temps, LHCb a défini une architecture claire pour encadrer ses logiciels. L’architecture de ce software, appelée GAUDI, couvre tous les processus appliqués aux données, de la simulation à l’analyse. GAUDI est un logiciel orienté objet et écrit en C++.
Toutes les applications basées sur cette architecture peuvent être configurées et exécutées grâce à des scripts en python. Ceci facilite l’accès direct aux objets utilisables en C++ associés aux codes d’une manière bien plus simple que de réécrire un code en C++, tout en assurant à l’utilisateur la possibilité d’effectuer des analyses pointues. Cette particularité permet aux physiciens utilisant les softwares de LHCb de rapidement développer les codes spécifiques à leurs propres analyses. Ce système permet d’associer la rapidité d’exécution du C++ avec la flexibilité et la simplicité de python.
La simulation Monte Carlo (MC) est intensément utilisée en Physique des Hautes Énergies, que ce soit dans de la phase de R&D, pour l’évaluation de différentes options de design, ou pour tester les algorithmes d’analyse de données.
Le MC est composé tout d’abord d’une partie générateur d’évènements physiques (p. ex. des collisions proton-proton produisant des évènements avec une particule de Higgs). Toutes les particules générées (plusieurs centaines) sont envoyées dans un programme de transport (GEANT4).
La géométrie du détecteur est très détaillée, avec une résolution meilleure que le millimètre (la taille du détecteur est de 20 m) et la composition chimique de chacun des éléments du détecteur est connue. De plus, le champ magnétique généré par l’aimant de LHCb a été mesuré sur une grille tridimensionnelle. Ces informations relatives à la distribution de matière et au champ magnétique sont utilisées pour simuler la trajectoire, la diffusion et les interactions des particules traversant le détecteur. De plus, la réponse du détecteur au passage de particules est également simulée, ainsi que toute la chaîne de lecture et de traitement du signal, jusqu’à la reconstruction des traces et les différentes mesures d’énergie, d’impulsion et d’identité associées à ces dernières. Ainsi, le résultat de la simulation est le plus proche possible des informations qui seront recueillies lors d’une collision réelle.
La préparation des analyses de processus physiques peut donc se faire avec un bon degré de précision. Les membres du laboratoire testent, améliorent et évaluent l’efficacité de leurs algorithmes d’analyse sur le cluster.
Le LPHE est impliqué dans plusieurs analyses. Des désintégrations sensibles à la violation de la symétrie CP, qui permettent de différencier la matière de l’antimatière sont étudiées, de même que certaines désintégrations très rares, mais qui permettent de tester des théories alternatives. Des analyses pour trouver la particule de Higgs sont aussi développées, alors que certains membres se concentrent sur l’exploitation des premières données qui seront recueillies.
Un autre exemple d’utilisation du cluster est de tourner des jobs de calibration. L’EPFL a développé et construit un des sous-détecteurs de LHCb, appelé Inner Tracker. Ce détecteur, situé au plus près du faisceau, est chargé de mesurer la trajectoire des particules chargées. Il est composé de fines pistes de silicium (environ 200’000 canaux), espacées de 200 micromètres, qui recueillent les électrons arrachés à la bande de valence du silicium lors du passage d’une particule chargée. Pour exploiter correctement les informations recueillies par ce détecteur, la position des pistes doit être connue aussi précisément que possible, à une précision de l’ordre de 10 microns.
Il est impossible d’obtenir cette précision avec de la métrologie classique. La méthode la plus efficace est d’utiliser les données elles-mêmes, générées par le passage de particules. Par un algorithme itératif, on corrige au fur et à mesure la position des pistes par rapport à la position nominale, en minimisant les déviations résiduelles que l’on obtient lors de la reconstruction de traces. Étant donnée la taille du détecteur, la procédure demande un grand nombre de traces et d’itérations. On s’attend à devoir faire tourner ce programme très souvent, car la stabilité mécanique du détecteur n’est probablement pas de l’ordre de 10 micromètres. Des longs programmes batch automatiques seront donc envoyés sur le cluster dans ce but de calibration.
Cette procédure a été testée sur des données MC, mais aussi sur de vraies données : lors de certains tests d’injection de protons dans l’anneau du LHC, une quantité importante de particules secondaires est créée. Le passage de ces particules dans le détecteur LHCb a été enregistré. Avec ces données, on a pu démontrer que l’on était capable d’aligner spatialement l’Inner Tracker.
Nous attendons maintenant pour la fin 2009 les collisions proton-proton à haute énergie fournies par le LHC pour pouvoir faire des analyses physiques avec des données réelles sur le cluster du LPHE.



Cherchez ...

- dans tous les Flash informatique
(entre 1986 et 2001: seulement sur les titres et auteurs)
- par mot-clé

Avertissement

Cette page est un article d'une publication de l'EPFL.
Le contenu et certains liens ne sont peut-être plus d'actualité.

Responsabilité

Les articles n'engagent que leurs auteurs, sauf ceux qui concernent de façon évidente des prestations officielles (sous la responsabilité du DIT ou d'autres entités). Toute reproduction, même partielle, n'est autorisée qu'avec l'accord de la rédaction et des auteurs.


Archives sur clé USB

Le Flash informatique ne paraîtra plus. Le dernier numéro est daté de décembre 2013.

Taguage des articles

Depuis 2010, pour aider le lecteur, les articles sont taggués:
  •   tout public
    que vous soyiez utilisateur occasionnel du PC familial, ou bien simplement propriétaire d'un iPhone, lisez l'article marqué tout public, vous y apprendrez plein de choses qui vous permettront de mieux appréhender ces technologies qui envahissent votre quotidien
  •   public averti
    l'article parle de concepts techniques, mais à la portée de toute personne intéressée par les dessous des nouvelles technologies
  •   expert
    le sujet abordé n'intéresse que peu de lecteurs, mais ceux-là seront ravis d'approfondir un thème, d'en savoir plus sur un nouveau langage.