Rapport d'activité 2014de la plate-forme
technologique CISM
Rédigé par Damien François, Luc Sindic, Bernard Van Renterghem et Thomas Keutgen (responsable).version électronique disponible à l'adresse http://www.cism.ucl.ac.be/Administration/Rapports/rapport2014
Table des matières
Introduction 6
1 L’année 2014 en bref 7
2 CISM plate-forme technologique 8
3 Les salles informatiques 9
4 Matériel et infrastructure 11
4.1 Les infrastructures de calcul . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.1.1 La grappe MANNEBACK . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.1.2 La grappe HMEM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
4.1.3 La grappe LEMAITRE2 . . . . . . . . . . . . . . . . . . . . . . . . . . 15
4.2 Les systèmes de stockage de masse . . . . . . . . . . . . . . . . . . . . . . . 17
4.3 Serveurs spécifiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
4.3.1 Serveurs SAS SMCS1&2 (SMCS) . . . . . . . . . . . . . . . . . . . . . 19
4.3.2 Serveur Matlab LM9 (INMA) . . . . . . . . . . . . . . . . . . . . . . . 20
4.4 Gestion et développement de l’infrastructure . . . . . . . . . . . . . . . . . 20
4.4.1 Gestion des incidents . . . . . . . . . . . . . . . . . . . . . . . . . . 20
4.4.2 Déclassement des serveurs plus anciens . . . . . . . . . . . . . . . . 22
5 Consortium des Equipements de Calcul Intensif 23
5.1 Les infrastructures disponibles . . . . . . . . . . . . . . . . . . . . . . . . . 23
5.2 Enquête de satisfaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
5.3 Développement d’un nouveau système de fichiers partagé . . . . . . . . . 26
5.4 Tier1 en FWB et accès à PRACE . . . . . . . . . . . . . . . . . . . . . . . . . 26
5.5 Développement d’un outil d’aide à la soumission de jobs . . . . . . . . . . 28
6 Support aux utilisateurs et formations 29
6.1 Support aux utilisateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
6.2 Formations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
7 2015 et au delà... 32
A Inventaire des infrastructures de stockage 34
B Inventaire des infrastructures de calcul 35
C Répartition des utilisateurs de l’UCL dans l’utilisation des infrastructures de
stockage 38
D Répartition des utilisateurs de l’UCL dans l’utilisation des infrastructures de
calcul 39
E Activités de formation, veille technologique, et réseautage 40
E.1 Slurm User Group . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2
E.2 Réunion Xeon Phi chez HP . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
E.3 Storage Expo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
F Publications 41
Rapport d’activité 2014 du CISM 3|47
..
Le CISM en quelques mots...Le CISM est une plate-forme technologique rattachée au Secteur desSciences et Technologies (SST). Son rôle est de fournir aux chercheursde l’Université des solutions de calcul intensif sur de puissants sys-tèmes informatiques et des solutions de stockage sûr et sécurisé degrandes masses de données.
Un outil indispensable à la rechercheEn informatique scientifique, bien que la puissance des ordinateursindividuels s’accroit de génération en génération, les besoins encalcul et stockage augmentent de manière bien plus grande encore,particulièrement dans les domaines de la simulation numérique, de lamodélisation, de la bioinformatique, etc. Cette année 2014 a vu plusde 170 utilisateurs UCL (et 480 en tout), utiliser, souvent jusqu’aumaximum de leur capacité, les infrastructures du CISM et du CÉCI.Ce qui représente, rien que pour l’UCL, plus de 16 millions d’heuresde calcul (dont 10M uniquement sur les infrastructures du CISM),et 222 TB de stockage, permettant la production de 84 publicationsscientifiques.
Une expertise reconnueL’équipe de gestion de la plate-forme CISM regroupe quatre infor-maticiens spécialisés entretenant un savoir-faire de pointe en calculscientifique et en gestion de parc informatique. Cette expertise estreconnue au sein de l’Université où le CISM contribue à la réalisationdes projets de plusieurs entités : hébergement de machines de calculstatistique pour SMCS, étude d’une nouvelle salle machine avecSIPR, coopération avec CP3, unité gérant également des grappesde calcul, etc. Cette expertise est également reconnue au sein de laFédération Wallonie-Bruxelles : les formations organisées par l’équipedu CISM ont attiré en 2014 plus de 70 chercheurs issus de chacunedes universités wallonnes et bruxelloise.
2014, l’année du 10ième anniversaireCette année anniversaire a été pour le CISM l’occasion d’une refonteimportante de ses organes de gestion. Et même si les infrastructuresn’ont pas beaucoup évolué en terme de puissance installée, la puis-sance de calcul disponible globalement a plus que doublée avec l’ou-verture au CÉCI du Supercalculateur Tier-1 wallon. De nouvelles for-mations pour les utilisateurs, et la poursuite des grands chantiers quesont la nouvelle salle machine et le projet de stockage partagé CÉCIviennent compléter le tableau.
INTRODUCTION
Le présent rapport a pour but de fournir un résumé des activités de la plate-forme
technologique sectorielle Calcul Intensif et Stockage de Masse (SST/CISM) et de l’équipe
qui en gère les équipements, pour l’année 2014. Le lecteur disposant de la version im-
primée est invité à consulter la version électronique1 où les hyperliens donnent accès aux
références de ce rapport. Les faits saillants de l’année 2014 y sont extraits d’une masse
brute de procès-verbaux et de statistiques.
Le rôle de la plate-forme, pour son aspect « calcul intensif » est d’assurer aux cher-
cheurs de l’université l’accès à des outils informatiques de calcul scientifique de grande
puissance, appelés « grappes de calcul », ou « clusters » ; il s’agit d’ensembles d’ordi-
nateurs présentant de très grosses configurations interconnectés de manière à combi-
ner leurs puissances individuelles en un super-ordinateur. Le rôle « stockage de masse »
consiste à offrir aux chercheurs l’accès à des infrastructures de stockage de données de
grande capacité disponibles à toute la communauté universitaire.
Les activités prises en charge par la plate-forme vont donc de l’acquisition du matériel,
et de sa maintenance, au support et à la formation des chercheurs à l’utilisation de ce ma-
tériel, sur base d’une expertise de haut niveau entretenue activement au sein de l’équipe,
et d’une veille technologique permanente, en collaboration avec les autres services de
l’UCL mais également avec les autres universités belges.
La suite de ce rapport présente les faits importants de 2014 (Section 1), l’évolution des
organes de la plate-forme (Section 2), l’état des lieux des infrastructures du CISM (Sections
3 et 4), les nouveaux projets mis en place dans le cadre du CÉCI (Section 5), le bilan des
activités de support aux utilisateurs (Section 6.1) et les perspectives pour 2015 (Section 7).
Les annexes reprennent les détails des infrastructures (Annexes A et B), la répartition par
pôle des utilisateurs de l’UCL (Annexes C et D), ainsi que la liste des publications obtenues
cette année grâce aux outils du CISM (Annexe F).
1http ://www.cism.ucl.ac.be/Administration/Rapports
6|47 Rapport d’activité 2014 du CISM
1 L’ANNÉE 2014 ENBREF
En 2014, le CISM a fêté ses 10 ans d’existence. C’était l’occasion pour nous d’orga-
niser un évènement regroupant les personnes à l’origine de notre plate-forme et nous
remémorer les souvenirs de 2004, année où le calcul intensif et le stockage de masse ont
pris leur place au sein de l’Université par la création de l’Institut CISM. Plate-forme tech-
nologique depuis 2009, notre organisation n’a cessé d’évoluer. Encore cette année, un
nouveau règlement d’ordre intérieur (ROI) a été approuvé par les autorités de l’Université
et la gestion du CISM a été confiée à deux nouveaux comités : le comité de gestion et le
comité des utilisateurs. Ce point sera détaillé à la Section 2.
Globalement, nos infrastructures n’ont pas connu de grosse modification cette année.
On notera les serveurs ajoutés au cluster Manneback mais cela reste relativement limité
en terme d’occupation d’espace et de puissance. Pour rappel, nous sommes en attente
de la mise à disposition d’une nouvelle salle machine nous permettant le déploiement
de nouvelles infrastructures. Cette nouvelle salle sera construite en 2015 comme nous le
verrons à la Section {salles}.
En ce qui concerne le calcul intensif, la mise en service du supercalculateur Tier-1 au
Cenaero et son ouverture à tous les utilisateurs du CÉCI[ˆConsortium des Équipements
de Calcul Intensif en Fédération Wallonie Bruxelles] est certainement un des évènements
les plus importants de l’année écoulée. On reviendra plus largement sur cet évènement
à la Section 5.4. Dans les activités du CÉCI, un nouveau projet “Grands Équipements” a
été accepté pour financement par le FNRS. Il concerne la mise en place d’un système de
fichiers partagé favorisant la mobilité des chercheurs entre les différentes plates-formes
de calcul mises à disposition par le consortium. Ce point sera discuté à la Section 5.3.
On peut également rappeler la séance de “debuggage” qui a eu lieu en début d’année
permettant à quelques utilisateurs avertis de tester l’efficacité de leur code en utilisant, sur
une courte période, les 1344 processeurs disponibles sur le cluster Lemaitre2. Cette session
a été un réel succès et certains utilisateurs ont obtenu ainsi les informations nécessaires
pour envisager l’accès à des infrastructures plus importantes.
Pour le stockage de masse, malgré le démantèlement de Storage02, l’espace de sto-
ckage disponible est resté suffisant pour ne pas devoir envisager son remplacement im-
médiat. Un renforcement sera cependant nécessaire en 2015.
Nos formations se sont à nouveau étoffées avec deux nouvelles sessions (programma-
tion Fortran et C++) et trois nouveaux formateurs (voir la section {formations}).
Enfin, il reste à citer les 84 publications qui ont bénéficié de l’apport essentiel des
infrastructures CISM en 2014 ; elles sont listées en annexe F.
Rapport d’activité 2014 du CISM 7|47
2 CISMPLATE-FORMETECHNOLOGIQUE
Cette année, le CISM a fêté ses 10 ans d’existance ! C’était l’occasion de rassembler
les différents acteurs qui ont contribué activement à la réussite de notre plate-forme et
se souvenir des premières années de calcul intensif et de stockage de masse à l’UCL. Une
séance académique a donc été organisée à cette fin le 2 octobre 2014.
Dès 2013, le CISM avait entamé la modification de son fonctionnement avec la scis-
sion de son conseil de gestion en deux nouvelles assemblées : le comité de gestion et
le comité des utilisateurs. Au même moment, le Conseil du Service à la Société (CSES) a
remis une note au Conseil Académique proposant une nouvelle ligne de conduite pour le
fonctionnement des plate-formes technologiques. Notre objectif rencontrant l’essentiel
des points mentionnés dans cette note, notre nouveau règlement d’ordre intérieur (ROI)
a rapidement pris forme et a été déposé pour approbation au bureau du Secteur des
Sciences et Technologies (SST). Il a officiellement été approuvé par le Conseil Académique
du 3 juin 2014.
Les points importants de notre nouvel ROI sont les suivants :
• Le CISM devient une plate-forme technologique sectorielle du secteur SST. Il est re-
présenté auprès des autorités de l’UCL par son institut de référence, IMCN, et en
particulier par son président.
• Le Comité de Gestion du CISM se réunit environ deux fois par an pour définir les
stratégies à moyen et long terme et évaluer le fonctionnement de la plate-forme. Il
est composé d’un représentant par institut “grand utilisateur” de nos infrastructures
et présidé par un académique nommé pour 4 ans.
• Le comité des utilisateurs se réunit au moins six fois par an pour proposer la poli-
tique de gestion et d’utilisation des équipements scientifiques et techniques. Il est
composé d’au moins un membre des pôles de recherche regroupant les utilisateurs
les plus “significatifs” et présidé par le président du comité de gestion.
8|47 Rapport d’activité 2014 du CISM
3 LES SALLES INFORMATIQUES
Comme discuté dans nos rapports précédents, les deux salles actuelles (l’Aquarium et
la salle Tier-2) ne permettent plus aujourd’hui d’héberger simultanément les serveurs des
services centraux (SIPR), de IRMP/CP3 et du SST/CISM. Par manque de place d’abord : les
armoires sont remplies au maximum de leur capacité. Par manque de puissance ensuite :
les projets orientés calcul intensif (CISM et CP3) nécessitent des armoires permettant d’at-
teindre les 20 kW alors que la capacité actuelle est de 12 kW par armoire. Enfin, les besoins
deviennent de moins en moins compatibles entre les services centraux qui doivent assurer
un service ininterrompu et donc, recherchent à assurer la redondance de chaque élément
de la salle, et les utilisateurs du calcul haute performance (CP3 et CISM) qui ont besoin
d’un maximum de puissance par armoire afin d’optimiser la densité des serveurs de calcul.
Un projet de nouvelle salle (DCIII, DataCenter III) a donc vu le jour grâce au travail
efficace de ADPI/GTPL. Un nouveau bâtiment sera construit dans le courant de l’année
2015. Dans un premier temps (phase I), 12 armoires de 20 kW seront disponibles pour la
fin de l’année 2015. Une seconde phase est prévue en 2017 où la salle sera mise à niveau
et atteindra les 20 armoires. La figure 1 présente le site choisi pour l’implantation de cette
nouvelle salle (cette figure nous a été transmise par ADPI/GTPL).
FIGURE 1 : SITE D’IMPLANTATION DE LA NOUVELLE SALLE DCIII
L’optimisation énergétique est un point essentiel dans la conception d’une salle ma-
chine tant le niveau de consommation électrique est important. Par exemple, en 2014, la
consommation cumulée des deux salles existantes s’est élevée à 2466 MWh dont un peu
moins de la moitié provenant des installations du CISM. Chaque kW économisé par l’ef-
ficacité de l’installation représente donc une économie substantielle pour le gestionnaire
de la salle. Un des paramètres les plus utilisés pour mesurer l’efficacité d’une salle machine
est le PUE (Power Usage Effectiveness) qui représente le rapport entre la consommation
électrique globale de la salle sur celle des serveurs qu’elle héberge. Dans un monde idéal,
Rapport d’activité 2014 du CISM 9|47
si le refroidissement des machines ne produit aucun surcoût énergétique, le PUE est de 1.
Ce qui n’est bien sûr pas le cas mais plus la conception de la salle est optimisée, plus le
PUE se rapprochera de l’unité.
Pour les salles actuelles, nous avons pu estimer le PUE en comparant les valeurs obte-
nues sur le compteur général des salles (consommation totale) et les mesures prises sur
l’UPS, fournissant la puissance électrique des serveurs. Cette valeur doit être considérée
comme minimale. La figure 2 présente l’évolution annuelle du PUE pour l’Aquarium et la
salle Tier-2.
FIGURE 2 : EVOLUTION ANNUELLE DU PUE POUR LES SALLES AQUARIUM ET TIER-2
On peut remarquer que cette valeur n’est pas constante et qu’elle dépend des saisons
et donc, des conditions de température extérieure. Cette dépendance est particulièrement
marquée pour la salle Tier-2 qui, contrairement à l’Aquarium, est équipée d’un aéroréfrigé-
rant qui permet de refroidir le circuit hydraulique de la salle par simple ventilation, lorsque
la température extérieure est suffisamment basse. La salle Aquarium, installée en 2005,
présente un PUE moyen de 1.55 alors que la salle Tier-2, datant de 2007, plus efficace,
tourne autour de 1.46. L’objectif de la nouvelle salle machine, le DCIII, sera de descendre
en dessous de 1.3.
Fin 2015, lorsque la première phase du DCIII sera terminée, il est prévu de commencer
le transfert de toutes les activités de SST/CISM et IRMP/CP3 dans la nouvelle salle. L’ob-
jectif final étant de libérer la totalité des armoires utilisées dans les anciennes salles pour
permettre aux services centraux d’augmenter leur capacité. Le CISM gardera cependant
une armoire à l’Aquarium pour assurer une solution de backup délocalisé de ses services.
IRMP/CP3 gardera également une armoire en salle Tier-2 pour certains services ne pou-
vant pas déménager du bâtiment Marc de Hemptinne. Le rapprochement des serveurs
IRMP/CP3 et SST/CISM dans le même local est une chance unique de mutualiser nos dif-
férents services. Une collaboration étroite avec les administrateurs de IRMP/CP3 a donc
débuté cette année pour étudier les possibilités de ce rapprochement.
10|47 Rapport d’activité 2014 du CISM
4 MATÉRIEL ET INFRASTRUCTURE
FIGURE 3 : EVOLUTION DE LA PUISSANCE THÉORIQUE DE CALCUL AU CISM DEPUIS 2006
En 2014, afin de prolonger un peu l’utilité de ses processeurs plus anciens, la majorité
des nœuds de calcul de GREEN ont été transférés sur Manneback. Combinée aux huit
nouvelles machines que nous avons ajoutées à ce cluster, la puissance théorique cumulée
a atteint en 2014 les 42 TFlops comme le montre la figure 3. Un tableau récapitulatif est
présenté en Annexe B ainsi que la répartition par Secteurs/Instituts/Pôles des utilisateurs
de l’UCL (Annexe D).
Le détail du taux d’utilisation de ces différents clusters sera développé dans les para-
graphes ci-dessous.
FIGURE 4 : EVOLUTION DE L’ESPACE DE STOCKAGE DISPONIBLE AU CISM DEPUIS 2006
Rapport d’activité 2014 du CISM 11|47
En ce qui concerne le service de stockage de masse, avec le déclassement programmé
de Storage02, le CISM met à la disposition de l’ensemble de la communauté universitaire
environ 260 terabytes[ˆ1 terabyte représente 1000 gigabytes soit l’équivalent d’un disque
dur externe, ou environ 250 DVD] (TB).
La répartition de cet espace sur nos serveurs est détaillée à la figure 4. Un tableau réca-
pitulatif est également présenté en annexe {inventaire_st}. La répartition des utilisateurs
par secteur/institut/pôle se retrouve en annexe C.
Le reste de cette section présente en détail les différentes infrastructures de calcul,
grappes et machines interactives ainsi que le récapitulatif des interventions opérées sur
ces machines en 2014.
4.1 Les infrastructures de calcul
Les infrastructures de calcul du CISM sont de deux types :
• des grappes de calcul, où les utilisateurs soumettent leurs calculs au logiciel chargé
de la gestion des ressources (Manneback, Hmem, Lemaitre2) ;
• des machines interactives où les utilisateurs se connectent et lancent leurs calculs
directement (SMCS1&2, LM9).
4.1.1 La grappeMANNEBACK
Charles Manneback
(1894-1975)
Manneback, baptisée en hommage à Charles Manneback, est une
grappe réservée aux membres de l’UCL ; elle héberge les machines
issues de projets de recherche industriels, les machines spécialement
achetées pour tester de nouvelles technologies, et les machines ne
trouvant pas leur place ailleurs. Ce qui en fait un cluster hétérogène,
regroupant des processeurs AMD et des processeurs Intel, des nœuds
avec une interconnexion rapide et à faible latence, et d’autres équipés
d’accélérateurs matériels.
Cette année, la puissance maximale de cette grappe a doublé, pas-
sant de 10TFlops à un peu plus de 20TFlops. Ainsi, Manneback compte
à présent 1616 cœurs et dépasse en puissance maximale théorique la
grappe Lemaitre2 (1380 cœurs, 14TFlops). Cet accroissement important est dû essentiel-
lement à trois apports :
• la reconversion de 79 machines de l’ancien cluster Green, intégrées à Manneback
(+ 6,32Tflops) ;
• l’ajout en mars, d’un serveur de 32 cœurs Xeon [email protected]/128 GB RAM,
intégré à la partition OBAN (+ 563Gflops) ; et pour finir,
• l’ajout en juin, de 8 nœuds de 16 cœurs Xeon [email protected]/64GB RAM (+
2.66Tflops).
Le front-end (ou serveur d’accès) avait été renforcé l’an passé. Il s’agit d’une machine
puissante équipée de deux processeurs Intel(R) Xeon(R) CPU E5-2650 @ 2.00GHz (soit 16
12|47 Rapport d’activité 2014 du CISM
.....Jan.
Feb.
Apr.
May.
Jul.
Sep.
Oct.
Dec.0 .
50
.
100
.
. ..CPU . ..Mem
FIGURE 5 : TAUX D’UTILISATION CUMULÉ DE MANNEBACK
cœurs de calcul en tout), 64GB de RAM, et 30TB de disque configurés en RAID6. Ce serveur
d’accès supporte sans difficulté le doublement de la charge (de 856 à 1616 cœurs).
La partition INDUS a été mise en place suite à un contrat de recherche en collaboration
avec des partenaires industriels. Cette partition est réservée aux activités liées à ce contrat
durant la durée des travaux, et n’est disponible pour les utilisateurs n’y étant pas impliqués
directement qu’en cas de surcapacité. En pratique, chacun peut y soumettre un job, mais
ce job pourra être arrêté et annulé pour laisser la place aux jobs prioritaires si besoin est.
...
NAPS
.
70%
..
COSY
.
10%
..
MIRO
.
8%
..
ELEN
.
7%
..
Autres
.5%
FIGURE 6 : RÉPARTITION PAR PÔLE POUR MANNEBACK
La partition OBAN est également réservée en priorité aux utilisateurs qui ont financé les
machines qui la composent ; cependant, si leurs jobs ont une priorité nettement supérieure
à celle des autres jobs, ils n’ont pas la possibilité d’arrêter un job en cours pour prendre
sa place.
Le taux d’utilisation cumulé deManneback (Figures 5) présente la somme de la consom-
mation de CPU et de mémoire des branches “par défaut” (c’est-à-dire tous les nœuds sauf
ceux des partitions INDUS et d’OBAN). Sur cette figure, on remarque en juillet une inter-
ruption due à la semaine de maintenance et de mise à jour de l’ensemble des serveurs de
calcul. Et hormis les deux périodes plus creuses de mars et de mai, la tendance est à une
augmentation de la charge de Manneback.
Rapport d’activité 2014 du CISM 13|47
4.1.2 La grappeHMEM
La grappe Hmem
La grappe de calcul Hmem est une infrastructure orientée calcul
intensif réclamant une quantité de mémoire vive importante ; d’où le
choix du nom Hmem pour « High-Memory ». Cette infrastructure,
installée en février 2011, est à la disposition des utilisateurs de l’UCL
pour moitié et des membres du Consortium CÉCI pour l’autre moitié.
Cette grappe est composée de 16 machines DELL (fournies par
ClusterVision) 4x12 cœurs AMD Opteron 6174 dont deux sont équi-
pées de 512 GB de RAM, 7 de 256 GB et 7 de 128 GB. Un financement
d’ELIC a permis d’ajouter un huitième nœud équipé de 128 GB de RAM (Hmem17). L’en-
semble est interconnecté par un réseau rapide à faible latence Infiniband QDR (40 Gbits/s).
Le CISM a ajouté un serveur d’accès et de sessions interactives équipé de 2x6 cœurs AMD
Opteron 4180, 64GB de RAM, et de 11TB d’espace disque pour les répertoires utilisateurs.
Il permet l’identification des utilisateurs et la gestion des jobs en attente de soumission.
Enfin, 3 serveurs Transtec Calleo 530 acquis en novembre 2008 (4 dual-cœur AMD Opte-
ron et 128GB RAM) faisant anciennement partie de Lemaitre ont été ajoutés à la grappe
Hmem (Hmem18, 19 et 20, dans une queue « fast » de 24 heures maximum).
.....Jan.
Feb.
Apr.
May.
Jul.
Sep.
Oct.
Dec.0 .
20
.
40
.
60
.
80
.
. ..CPU . ..Mem
FIGURE 7 : TAUX D’UTILISATION CUMULÉ DE HMEM
Le matériel qui compose Hmem est particulier car très peu de serveurs de calcul dis-
posent d’un demi TB de RAM, et les valeurs de 128 et 256 GB sont également plus élevées
que ce qui est classiquement disponible sur des serveurs de calcul. Cela permet d’y faire
tourner des simulations qui ne pourraient s’exécuter ailleurs (manipulant des tableaux très
grands, par exemple). Néanmoins, le taux d’utilisation de Hmem, bien que relativement
élevé, a fléchi cette année. C’est ce que présente la figure 7. Cela peut s’expliquer par
différents facteurs : Le CÉCI dispose, avec Dragon1, d’une grappe de 26 serveurs équipés
chacun de 128 GB de RAM et, avec Vega, de 43 nœuds de 256GB de RAM. Hormis les deux
premiers nœuds Hmem1 et Hmem2 (512 GB de RAM), Hmem n’est plus le seul à pouvoir
accueillir des modélisations gourmandes en mémoire. De plus, les processeurs AMD Opte-
ron 6174 sont moins rapides que les processeurs de générations suivantes, qui équipent
les grappes plus récentes. La figure 8montre une utilisation de Hmem bien répartie au sein
des universités du CÉCI (seulement 4% UMons et 6% ULB qui hébergent respectivement
Dragon1 et Vega). Sur la partition “High” (les nœuds Hmem1-Hmem2 équipés de 512 GB
de RAM), SLURM, le gestionnaire de jobs, a été configuré de telle manière que seules les
14|47 Rapport d’activité 2014 du CISM
...
UCL
.
43%
..
UNamur
.
27%
..
ULB
.
6%
..
ULg
.
20%
..
UMons
.4%
FIGURE 8 : RÉPARTITION DE L’UTILISATION DE HMEM PAR UNIVERSITÉ
simulations demandant plus de 256GB puissent y démarrer, pour utiliser judicieusement
ces serveurs particuliers. Ils sont ainsi plus disponibles mais cela fait diminuer leur taux
moyen d’utilisation. SLURM doit veiller au partage équilibré entre les utilisateurs des 5
universités de la Fédération Wallonie Bruxelles. La configuration choisie tient compte du
fait que la machine est dédiée à 50% aux membres de l’UCL et 50% aux membres du
CÉCI (dont l’UCL). A part cela, tous les utilisateurs sont mis sur le même pied. La figure
8 présente la répartition de l’utilisation de la grappe Hmem entre les 5 universités de la
FWB pour l’année 2014.
4.1.3 La grappe LEMAITRE2
Georges Lemaitre
(1894-1966)
L’accord du Consortium des équipements de Calcul Intensif CÉCI
de 2010 a permis en 2011 le financement par le FNRS d’une machine
“massivement parallèle”, disposant d’un grand nombre de CPUs per-
formants interconnectés par un réseau rapide.
La grappe Lemaitre2 est composée de 1344 cœurs de calcul Intel
[email protected] interconnectés par un réseau Infiniband QDR “(3 :1)
blocking”. Un système de fichiers parallélisé de type “Lustre” assure
l’accès en écriture le plus rapide possible à un espace d’hébergement
temporaire de données de 120 TB. Les serveurs de gestion, d’accès aux
répertoires utilisateurs (contenant les données essentielles, les sources et les programmes
des utilisateurs) et de gestion du système de fichiers “Lustre” (plus performant, contenant
les données de production des utilisateurs) sont tous dédoublés et sécurisés via Linux High
Availibility (LHA).
La grappe Lemaitre2, avec sa puissance maximale théorique de 13.6 Tflops, représente
35% de la puissance offerte par le CISM à la communauté.
La figure 9 présente le taux d’utilisation mensuelle de la grappe Lemaitre2 pour l’année
2014.
Rapport d’activité 2014 du CISM 15|47
.....Jan.
Feb.
Apr.
May.
Jul.
Sep.
Oct.
Dec.0 .
20
.
40
.
60
.
80
.
100
.
. ..CPU . ..Mem
FIGURE 9 : TAUX D’UTILISATION CUMULÉ DE LEMAITRE2
...
UCL
.
37%
..
UNamur
.
12%
..
ULB
.
33%
..
ULg
.
10%
..
UMons
.
8%
FIGURE 10 : RÉPARTITION DE L’UTILISATION DE LEMAITRE2 PAR UNIVERSITÉ
16|47 Rapport d’activité 2014 du CISM
4.2 Les systèmes de stockage demasse
Le serveur Storage02, acquis en 2009, est arrivé en fin de garantie début 2014 et a été
déclassé. L’espace disponible a ainsi été réduit de 36 TB.
Actuellement, les trois serveurs Storage03, Storage04 et Storage05 fournissent à la
communauté universitaire 261 TB d’espace disque en ligne, répartis comme suit (voir éga-
lement la figure 4) :
• Storage03 : 42 TB
• Storage04 : 64 TB
• Storage05 : 155 TB
Cet espace disque est sécurisé : la configuration RAID des machines tolère la panne de
disques, remplaçables à chaud, c’est-à-dire sans devoir éteindre la machine. De plus, la
récupération en cas de désastre est assurée par la délocalisation des serveurs (Storage04
et Storage05 au Pythagore ; Storage03 au Marc de Hemptinne) et la mise en place d’un
système de réplication des données, activé uniquement si l’utilisateur le souhaite.
FIGURE 11 : RÉPARTITION DES UTILISA-
TEURS PAR SECTEUR
FIGURE 12 : RÉPARTITION DES UTILISA-
TEURS PAR INSTITUT
FIGURE 13 : RÉPARTITION DES UTILISA-
TEURS PAR PÔLEFIGURE 14 : RÉPARTITION DU STOCKAGE
UTILISÉ DEPUIS 2008
Les Figures 11 à 13 présentent la répartition des utilisateurs par secteur, par institut et
par pôle de recherche. ELI reste l’institut le plus important avec les pôles ELIC et ELIE. La Fi-
gure 14montre l’évolution de l’espace de stockage utilisé et son accélération ces dernières
années. En 2015, les prévisions basées sur les estimations des utilisateurs du calcul inten-
sif nous annoncent une augmentation importante de l’espace utilisé. Un renforcement de
notre infrastructure de stockage deviendra nécessaire.
Rapport d’activité 2014 du CISM 17|47
Suite à la réduction de l’espace disponible sur les serveurs Storage04 et Storage05, lors
de la consolidation du niveau de sécurisation des données en 2013, l’espace de stockage
alloué à ELIE et ELIC a été réduit proportionnellement.
FIGURE 15 : LA RESTRUCTURATION DES SERVEURS DE STOCKAGE
Les données ont été redistribuées entre les serveurs de façon à regrouper celles de
chaque pôle de recherche sur un même serveur. L’accès aux machines de stockage a éga-
lement été restructuré.
La figure 15 représente la consolidation des différents serveurs Storage02 à Storage05,
entreprise en début d’année, afin de permettre à tout les utilisateurs d’accéder à leurs
données de façon identique (sur storage.cism.ucl.ac.be, dans son /home/pôle/login).
Dans la salle Aquarium se trouvent Storage02, Storage04 et Storage05, alors que Sto-
rage03 est installé dans la Salle Tier2. Une procédure de montage automatique (NFS auto
mount) permet d’établir la correspondance /home/pôle/login, même si les données ac-cédées se trouvent sur un autre serveur.
Par exemple, sur Storage05, /home/naps est un lien vers /net/storage03/storage/napscar les données du pôle NAPS se trouvent sur Storage03. Le serveur déclassé Storage02
a été reconditionné : quatre liens directs relient les quatre grappes de calcul. Ainsi, les
espaces de travail /workdircism et /workdirceci sont visibles depuis tout les nœuds decalcul de chaque cluster.
Enfin, signalons que Pascal Frisque (SIMM) a été nommé représentant des petits utili-
sateurs du stockage de masse, en remplacement d’Emile Berckmans, que le CISM tient à
remercier tout partiuclièrement.
18|47 Rapport d’activité 2014 du CISM
4.3 Serveurs spécifiques
Outre les grappes de calcul, le CISM héberge des serveurs de calculs interactifs, mis en
place pour répondre aux besoins spécifiques de certaines entités.
4.3.1 Serveurs SAS SMCS1&2 (SMCS)
Pour permettre aux chercheurs dont les travaux nécessitent de travailler sur des grosses
bases de données, de mener à bien leur recherche, la plate-forme technologique Service
de Méthodologie et de Calcul Statistique (IMAQ/SMCS) a financé, en 2011, deux serveurs
de calcul que nous hébergeons dans nos infrastructures.
.....Jan.
Feb.
Apr.
May.
Jul.
Sep.
Oct.
Dec.0 .
50
.
100
.
. ..CPU . ..Mem
FIGURE 16 : TAUX D’UTILISATION DE SMCS1
.....Jan.
Feb.
Apr.
May.
Jul.
Sep.
Oct.
Dec.0 .
50
.
100
.
. ..CPU . ..Mem
FIGURE 17 : TAUX D’UTILISATION DE SMCS2
Ces deuxmachines, conçues principalement pour le logiciel statistique SAS, permettent
également l’utilisation des logiciels R et Stata.
En 2014, la gestion de ces deux machines s’est poursuivie sans incident, avec comme
fait notable la mise à jour du logiciel SAS en version 9.4, et la reconfiguration de la
connexion de ces machines à leur espace de stockage de manière à augmenter signifi-
cativement les vitesses d’accès aux données.
Dans les figures 16 et 17, on peut voir l’évolution de l’utilisation des processeurs (sur-
face bleue) et de la mémoire (trait rouge) des deux machines. Une utilisation au-delà de
100% indique une utilisation sous-optimale de la machine ; plus de processus (instances
de programmes utilisateurs) que de processeurs (et donc ‘changements de contextes’ fré-
quents car plusieurs processus se partagent un même processeur) ou plus de mémoire
Rapport d’activité 2014 du CISM 19|47
de travail utilisée que de mémoire disponible (et donc utilisation d’espace disque de type
‘swap’ pour la mémoire).
4.3.2 ServeurMatlab LM9 (INMA)
Début 2011 toujours, le pôle d’Ingénierie Mathématique (ICTM/INMA), avait financé
un serveur spécifique pour l’utilisation interactive du logiciel Matlab. En 2013, la gestion
de cette machine par le CISM s’est poursuivie également, avec, à noter, deux interventions
sur panne de disque dur. Cette machine est régulièrement utilisée, comme le montre la
figure 18. Elle est en fait beaucoup utilisée pour convertir des programmes Matlab en
programmes C de manière à pouvoir les faire tourner sur un cluster comme MANNEBACK
ou HMEM.
.....Jan.
Feb.
Apr.
May.
Jul.
Sep.
Oct.
Dec.0 .
50
.
100
.
. ..CPU . ..Mem
FIGURE 18 : TAUX D’UTILISATION DE LM9
4.4 Gestion et développement de l’infrastructure
4.4.1 Gestion des incidents
Au cours de l’année 2014, nous avons dû faire face à une trentaine de pannes ou pro-
blèmes matériels. Certains ont nécessité un remplacement, d’autre une reconfiguration.
La figure 19 montre la fréquence des incidents selon leur type. On voit sans surprise que
ce sont les disques durs et les mémoires qui sont les éléments devant être le plus souvent
remplacés. Il est à noter que grâce à la configuration en redondance des disques durs des
homes et des stockages de masse, aucune perte de données n’est à déplorer lors des crash
de disques.
A contrario, les disques des systèmes de scratch sont configurés sans redondance ; ain-
si le crash d’un disque du système /scratch de Hmem a conduit à la perte de certainsfichiers pour certains utilisateurs. Heureusement, il s’agissait de fichiers reconstructibles,
ou dont une copie existait ailleurs. Et alors que les autres types d’interventions se font
obligatoirement lors d’un arrêt de la machine, les remplacements de disques se font ‘à
chaud’, alors que la machine tourne et répond aux commandes des utilisateurs, de ma-
nière totalement invisible pour ces derniers.
Il est évident que le nombre d’interventions sur un système dépend à la fois de la taille
de ce système et de son ancienneté. Comme on le voit sur la figure 20, la majorité des
20|47 Rapport d’activité 2014 du CISM
.....
1
.
2
.
3
.
4
.
5
.
6
.
7
.Remplacement de ventilateur .Remplacement de CPU
.
Reconfiguration software
.
Remplacement de disque dur
.
Remplacement de carte mère
.
Remplacement d’adapter board
.
Reformatage de disque
.
Remplacement de mémoire
.1.2
.
2
.
3
.
4
.
5
.
7
.
7
FIGURE 19 : RÉPARTITION DES INCIDENTS PAR TYPE EN 2014
interventions ont eu lieu sur les deux plus gros clusters gérés par le CISM, Lemaitre2 et
Manneback, ce dernier incluant par ailleurs beaucoup de vieux serveurs de calcul récupérés
des anciens clusters GREEN et Lemaitre.
Par trois fois en 2014, le système de refroidissement de la salle Tier2 dans laquelle sont
installées les machines de Green ont défailli, entrainant l’arrêt complet de ces machines le
temps de la remise en route, souvent très rapide, des équipements par l’équipe technique
de ADPI/GTPL.
.....
0
.
2
.
4
.
6
.
8
.
10
.
12
.
14
.Network .Storage
.
Hmem
.
Green
.
Lemaitre2
.
Manneback
.1.1.
2
.
3
.
11
.
13
FIGURE 20 : RÉPARTITION DES INCIDENTS PAR MATÉRIEL EN 2014
En ce qui concerne la salle Aquarium, nous avons dû faire face à une défaillance im-
portante de l’UPS, le système qui protège nos équipements des problèmes électriques,
qui a nécessité l’arrêt de l’ensemble des nœuds de calcul des clusters Manneback, Hmem
et Lemaitre2 durant deux journées. Les serveurs de tête et les serveurs de fichiers ont pu
être maintenus par la mise en place d’une ligne électrique temporaire.
L’année 2014 a par ailleurs vu la divulgation de failles de sécurité importantes dans
les systèmes logiciels que nous utilisons, à savoir Bash (‘Shellshock’), SSL (‘Haertbleed’),
et Linux (‘Semtex’). Pour les deux premières citées, nous avons pu rapidement établir que
nos systèmes n’étaient pas vulnérables. Pour la troisième, nous avons en urgence appliqué
les mises à jour de sécurité nécessaires. Mais aucun de nos systèmes n’a été compromis.
Enfin, comme les années précédentes, nous avons procédé à une maintenance plani-
fiée durant la dernière semaine de juillet pour mettre à jour des systèmes, nettoyer des
espaces /scratch, et installer la dernière version du gestionnaire de jobs (SLURM v14.03).
Rapport d’activité 2014 du CISM 21|47
4.4.2 Déclassement des serveurs plus anciens
Green a été installé en 2008 suite à un financement FNRS obtenu par le pôle Nanosco-
pic Physics (IMCN/NAPS). Il avait été conçu de manière à minimiser la consommation élec-
trique tout en garantissant un bon niveau de performances. Il disposait de 102 nœuds,
soient 816 cœurs, fournissant 8.16 TFlops de puissance théorique maximale, pour une
consommation électrique ne dépassant pas 24 kW.
Le cluster Green, arrivé en fin de contrat de maintenance en 2013, n’a pas été démonté
mais il continue à rendre des services par un “recyclage” de ses composants :
• Un nœud (node096) est toujours réservé à l’usage unique de NAPS, comme serveur
de compilation “buildbot” dans un environnement de référence, pour le logiciel ABI-
NIT ;
• Six nœuds ont été réaffectés au cluster de test Leleve2 de l’équipe de gestion (pour
l’évaluation d’outils de déployement, de systèmes de fichiers partagés, de configua-
tion SLURM,…) ;
• 79 nœuds ont été rattachés à Manneback (soit 6,32 Tflops).
Les 16 premiers nœuds restent attachés à Green, réduit à 128 cœurs, pour les utilisa-
teurs en fin de thèse, qui ont souhaité pouvoir y effectuer d’ultimes simulations, et pour
le cours LMAPR2451
Le rattachement de ces 632 cœurs de Green à Manneback n’a pas demandé de dépla-
cement des serveurs : un lien Gigabit ethernet point à point relie la grappe Manneback
dans l’AQUARIUM (bâtiment Pythagore) et les nœuds de Green dans la salle TIER2 (Marc
de Hemptinne).
Green était délaissé des utilisateurs (ancien système de queues, anciens compilateurs
et librairies). Intégrés à Manneback de façon transparente, ces nœuds de calcul sont à
nouveau bien chargés.
22|47 Rapport d’activité 2014 du CISM
5 CONSORTIUMDES EQUIPEMENTSDECALCUL INTENSIF
Depuis la création du CÉCI - Consortium de Equipements de Calcul Intensif (F.R.S.-
FNRS), nous y avons pris une part très active, notamment en développant une partie im-
portante de l’infrastructure de comptes partagés. Cette infrastructure permet à chaque
chercheur d’une université membre (les cinq universités francophones) d’utiliser n’importe
quel cluster dans n’importe quelle université en utilisant un seul identifiant unique. C’est
par ailleurs à l’UCL qu’ont été installés les deux premiers clusters Hmem et Lemaitre2.
Il n’est pas étonnant dès lors que les utilisateurs UCL furent parmi les premiers, et les
plus nombreux, à utiliser les infrastructures CÉCI, comme le montrent les figures 21 et 22.
...
..
2011
.
2012
.
2013
.
2014
.0
.
100
.
200
.
300
.
400
.
...UCL ...UMons ...UNamur
...ULg ...ULB
FIGURE 21 : EVOLUTION DU NOMBRE D’UTILISATEURS CÉCI PAR UNIVERSITÉ
Le CÉCI a par ailleurs organisé, comme chaque année, une journée scientifique permet-
tant aux utilisateurs de présenter leur recherche et leur manière d’utiliser les clusters. L’ora-
teur UCL pour cette année fut Thomas Demaet. Enfin, pour s’assurer de rester à l’écoute
de ses utilisateurs, le CÉCI a de nouveau organisé, en 2014, une enquête de satisfaction.
Pour le CÉCI, 2014 a été aussi l’année de l’ébauche de deux projets importants : d’une
part l’accès à une machine Tier-1 de plus de 10.000 cœurs, et d’autre part la création d’un
système de stockage commun à tous les clusters.
5.1 Les infrastructures disponibles
Avec l’installation de NIC4 en février 2014 à Liège, c’est un premier cycle de dévelop-
pement du CÉCI qui s’achève. Après Hmem, projet pilote financé par un projet FNRS/UCL
mais partagé à 50% avec le CÉCI, Lemaitre2, toujours à l’UCL, puis Dragon1 à l’Université
de Mons, Hercules à l’Université de Namur, et Vega à l’Université libre de Bruxelles, NIC4
est le sixième cluster installé grâce au premier tour de financement du CÉCI.
Rapport d’activité 2014 du CISM 23|47
...
..
2011
.
2012
.
2013
.
2014
.0
.
0.5
.
1
.
1.5
.
2
.
2.5
.
·109
.
...UCL ...UMons ...UNamur
...ULg ...ULB
FIGURE 22 : ÉVOLUTION DU NOMBRE DE MINUTES CPU CONSOMMÉES PAR LES UTILISA-
TEURS DU CÉCI
Comme le montre la table 1, ces clusters ont été conçus de manière à s’adapter aux
besoins fort variés des utilisateurs ; à la fois au niveau matériel, mais également au niveau
des politiques d’ordonnancement des jobs sur ces clusters. Ainsi, certains ont beaucoup
de mémoire par nœud (e.g. Hmem), d’autres beaucoup de nœuds connectés grâce à un
réseau hyper rapide (e.g. NIC4), d’autres encore offrent la possibilité de faire de très longs
calculs (e.g. Hercules)
A l’heure actuelle, c’est plus de 8300 cœurs de calcul qui sont disponibles pour les cher-
cheurs des cinq universités. Mais outre ces ressources calculatoires, le CÉCI offre également
une infrastructure simple de gestion des comptes utilisateurs et de nombreux tutoriels et
autres FAQ pour permettre aux chercheurs d’utiliser au mieux ces clusters.
Nombre de cœurs Mémoire totale Point fort
Hmem 17 x 48 = 816 4TB RAM, 15TB HD Jusqu’à 512GB de RAM
Lemaitre2 115 x 12 = 1380 5.5TB RAM, 120TB HD Réseau hyper rapide
Dragon1 26 x 16 = 416 3.3TB RAM, 28TB HD Gros scratchs locaux
Hercules 32x16 + 32x12 = 896 4TB RAM, 20TB HD Permet de longs jobs
Vega 43 x 64 = 2752 11TB RAM, 70TB HD Calcul entier
NIC4 128 x 16 = 2048 8TB RAM, 144 TB HD Système de fichiers
TABLE 1 : LISTE DES CLUSTERS DISPONIBLES AU SEIN DU CÉCI
Il n’y a pas à l’heure actuelle de perspectives de renforcement du nombre de cœurs
de calcul ou de remplacement de l’équipement devenant peu à peu obsolète, mais plutôt
des initiatives d’amélioration de la qualité de service d’une part, avec pour 2015 une
24|47 Rapport d’activité 2014 du CISM
...
..
2010
.
2011
.
2012
.
2013
.
2014
.
2015
.0 .
0.5
.
1
.
1.5
.
2
.
·104
.
nombredecœurs
.
...Hmem ...Lemaitre2 ...Dragon1
...Hercules ...Vega ...NIC4
...Zenobe
FIGURE 23 : ÉVOLUTION DU NOMBRE DE CŒURS DE CALCUL DISPONIBLES AU TRAVERS
DU CÉCI DEPUIS SA CRÉATION
meilleure connectivité entre les clusters et un système de fichiers commun, et d’autre part
une volonté de profiter du nouveau cluster Tier-1 dont plus de 8000 cœurs sont réservés
aux universités.
5.2 Enquête de satisfaction
Cette année encore, nous avons participé à l’élaboration et à l’organisation d’une
grande enquête de satisfaction auprès de nos utilisateurs et des utilisateurs du CÉCI. Or-
ganisée en juin, elle a touché 315 utilisateurs, parmi lesquels 74 ont répondu. L’enquête
était anonyme et posait les questions suivantes :
• Comment connaissez-vous le CÉCI ?
• Quelles difficultés avez-vous rencontrées lors de la création de votre compte ?
• Quels sont vos besoins en matériel, en logiciel ?
• Quelles sont les caractéristiques d’un job typique ?
Le questionnaire permettait également de laisser un commentaires libre. Les points
essentiels à retenir de cette enquête sont :
• une grande satisfaction dans l’ensemble : seuls cinq répondants ont laissé un com-
mentaire négatif ;
• un besoin en logiciels plus varié que l’année précédente, montrant un public touché
plus large ;
• une demande d’espace de travail/stockage commun à tous les clusters ;
• et évidemment un besoin pour toujours plus de ressources.
Rapport d’activité 2014 du CISM 25|47
La demande pour un espace de travail/stockage commun à tous les clusters avait déjà
été exprimée dans le sondage précédent et le CÉCI y a répondu en déposant auprès du
F.N.R.S. une demande de financement pour une solution matérielle et logicielle adaptée.
La demande a été acceptée en 2014 et devrait aboutir à une solution effective en 2015.
Les répondants avaient en outre la possibilité de laisser leurs coordonnées pour être
contacté par un gestionnaire directement pour discuter des problèmes rencontrés. Quatre
répondants ont profité de cette opportunité et leurs problèmes ont été solutionnés. Par
ailleurs, une réponse détaillée à chaque point soulevé anonymement a été rédigée et
postée sur le site web. Un résumé des résultats de l’enquête et la réponse rédigée sont
disponibles à l’adresse : http://www.ceci-hpc.be/survey2014.html .
5.3 Développement d’un nouveau système de fichiers partagé
Depuis sa création, le CÉCI aœuvré à lamise en place d’un cluster de calcul dans chaque
université partenaire, en tenant compte des besoins spécifiques locaux pour le choix des
matériels et technologies, mais en mettant en place un système de création de compte
qui soit global et commun. Ainsi, chaque utilisateur peut se connecter, avec son compte
CÉCI unique, au cluster de son choix, quelle que soit l’université d’accueil du cluster.
Le projet a depuis lors largement démontré son utilité, et la mobilité des chercheurs sur
les clusters est avérée. Dès lors, l’ambition a grandi et, il est devenu évident que, outre le
système de gestion des comptes, la gestion des jobs devait également se faire de manière
globale et commune.
Le prérequis principal à cette ambition est la mise en place d’un espace de stockage
fiable et performant qui soit commun à tous les clusters, de manière à ce que, quel que
soit le cluster sur lequel un job démarre, ce job ait accès à toutes les données nécessaires à
tout moment. Par ailleurs, un tel système permet à l’utilisateur de retrouver un environne-
ment (fichiers personnels, configurations, logiciels installés) identique sur tous les clusters.
C’est par ailleurs une demande qui est apparue à plusieurs reprises lors des enquêtes de
satisfaction menées auprès des utilisateurs.
Le CÉCI a donc introduit, en 2014, une demande ‘Grand Équipement’ auprès du F.N.R.S.
de manière à acquérir la plate-forme logicielle et matérielle, dont notamment un réseau
performant et dédié entre les sites des universités et l’a obtenu, grâce à l’implication de
tous les responsables des entités de recherche utilisateurs et des administrateurs systèmes,
dont le CISM. Un financement lié a en outre été attribué pour engager un logisticien de
recherche dédié à la mise en place et à la maintenance de ce système.
L’année 2015 verra donc naitre un système de stockage global et commun à tous les
clusters, renforçant encore la collaboration interuniversitaire au sein du consortium.
5.4 Tier1 en FWB et accès à PRACE
Le bon formidable observé à la figure 23 en termes de nombre de cœurs disponibles
en 2015 est dû à l’ouverture aux universités du supercalculateur Tier-1 PRACE installé à
Cenaero à Gosselies.
26|47 Rapport d’activité 2014 du CISM
Zenobe
Ce supercalculateur s’inscrit dans PRACE, l’initiative Partnership
for Advanced Computing in Europe qui regroupe la majorité des pays
d’Europe dans une plate-forme organisant le partage de ressources
calculatoires gigantesques. La Belgique fait partie de PRACE depuis
octobre 2012.
Les machines installées au sein des universités sont qualifiées de
Tier-2 dans la nomenclature PRACE ; elles comportent de l’ordre de
la centaine, voire du millier de cœurs, et sont utilisées au sein d’une
université ou d’un centre de recherche. La machine Zenobe, elle, comporte plus de 10.000
cœurs et fait partie de la catégorie qu’on appelle ‘Tier-1’, qui regroupe les clusters offrant
de l’ordre de la dizaine demilliers de cœurs. Le bassin d’utilisation d’unemachine Tier-1 est
généralement de la taille d’une région. La catégorie reine, des clusters ‘Tier-0’, regroupe
les infrastructures offrant de l’ordre de la centaine de milliers de cœurs. Il y en a une
dizaine en Europe ; ils sont listés à la table 2.
Localisation Installation Architecture Nb cœurs
CURIE GENCI@CEA, France Q2 2011 Bullx cluster 100000
Hermit GCS@HLRS, Germany Q3 2011 Cray XE6 113000
FERMI CINECA, Italy Q2 2012 BlueGene/Q 163000
SuperMUC GCS@LRZ, Germany Q2 2012 iDataPlex 163000
JUQUEEN GCS@FZJ, Germany Q4 2012 BlueGene/Q 458000
MareNostrum BSC, Spain Q4 2012 iDataPlex 48000
TABLE 2 : LISTE DES CLUSTERS TIER-0 PRACE
La Belgique n’héberge pas de cluster ‘Tier-0’, mais bien deux clusters ‘Tier-1’. Le pre-
mier, financé par la région flamande, est géré par le Vlaamse Supercomputing Centrum
(VSC) et hébergé actuellement à l’Université de Ghent. Le second, financé par la Fédération
Wallonie-Bruxelles, est installé à Gosselies et est géré par Cenaero, le centre de recherche
en aéronautique. Il est nommé Zenobe.
Zenobe
Zenobe offre un total de 3288 cœurs Westmere, et 8208 cœurs
IvyBridge, et entre 24 et 64 GB de mémoire vive par nœud. Il est équi-
pé d’un réseau rapide à faible latence (Infiniband) et d’un espace de
stockage GPFS de 350TB.
Des quelques 11000 cœurs que propose la machine Zenobe, 60%
sont réservés à la recherche et sont disponibles pour les universités du
CÉCI. Ainsi, avec le même identifiant qu’ils utilisent sur les clusters du
CÉCI, les chercheurs peuvent se connecter sur Zenobe et y soumettre
des jobs, pour autant cependant qu’ils en aient fait la demande spé-
cifiquement.
L’objectif visé par cette ouverture de la machine Tier-1 est double : d’une part accélérer
la recherche en offrant encore plus de puissance de calcul aux chercheurs, et d’autre
part servir de marche-pied, de tremplin, vers des infrastructures Tier-0, en permettant aux
chercheurs concernés de développer et tester leur code sur une grosse architecture avant
Rapport d’activité 2014 du CISM 27|47
de soumettre un projet pour obtenir un accès aux clusters Tier-0.
Le CISM a fait partie intégrante de l’équipe qui a étudié etmis en place cette intégration
de la base de données utilisateurs du CÉCI sur la machine Zenobe et de la procédure de
demande d’accès.
5.5 Développement d’un outil d’aide à la soumission de jobs
Pour soumettre un job sur un cluster du CÉCI, les utilisateurs doivent construire un
script de soumission. Cette tâche n’est pas foncièrement compliquée, mais recèle parfois
quelques subtilités qui mènent parfois à des bloquages et questionnements de la part des
utilisateurs. Pour éviter ces bloquages, nous avons construit un outil en ligne d’aide à la
construction de script de soumission.
Concrètement, l’outil permet aux utilisateurs de décrire les spécificités de leurs jobs
en terme de nombre de cœurs, de mémoire, etc. En se basant sur ces paramètres, l’outil
fournit alors la liste des clusters sur lesquels il est possible, en fonction des contraintes ma-
térielles et des politiques de gestion, de faire tourner le job décrit. Une fois que l’utilisateur
a choisi un cluster, le script correspondant au job décrit et au cluster demandé s’affiche
et peut être copié/collé par l’utilisateur avec la garantie que son script fonctionnera.
L’outil met à jour le script en temps réel, ce qui permet à l’utilisateur de voir directement
la traduction de ses besoins dans les codes utilisés par Slurm, le gestionnaire de jobs.
FIGURE 24 : APERÇU DE L’OUTIL D’AIDE À LA CRÉATION DE SCRIPTS DE SOUMISSION
28|47 Rapport d’activité 2014 du CISM
6 SUPPORTAUXUTILISATEURS ET FORMATIONS
Outre la maintenance des infrastructures, le rôle du CISM est également d’aider et de
former les chercheurs, utilisateurs de ces infrastructures.
6.1 Support aux utilisateurs
Les utilisateurs de la plate-forme ont un point de contact unique pour l’ensemble
des membres de l’équipe ; il s’agit de l’adresse [email protected]. Chaqueemail reçu à cette adresse est pris en charge individuellement ou en équipe, selon les né-
cessités. Lors de l’année 2014, cette adresse email a reçu 883 emails, dont 510 concernant
la création ou le renouvellement d’un compte CISM ou d’un compte CÉCI.
.....
0
.
50
.
100
.
150
.Compilateurs .SMCS1&2
.
lm9
.
Quotas
.
Slurm
.
Installations
.
Green
.
Manneback
.
Hmem
.
Lemaitre2
.
Autres
.3.3.
4
.
8
.
11
.
14
.
34
.
43
.
52
.
71
.
155
FIGURE 25 : REPARTITION DES DEMANDES D’AIDE EN FONCTION DU THÈME ABORDÉ
Les comptes CISM donnent accès au cluster Manneback, aux machines interactives, et
aux machines de stockage de masse. Les comptes CÉCI donnent pour leur part accès aux
clusters Hmem, Lemaitre2 et à tous les autres clusters du CÉCI. On voit sur la figure 26
que les demandes concernant les comptes CISM sont encore très fréquentes.
Sur la figure 25, on peut voir que la majorité des demandes concerne notre plus grosse
infrastructure, Lemaitre2, puis les autres clusters. On note également quelques demandes
d’installation de logiciels, mais très peu au regard du volume d’activité. On peut attribuer
cela au fait que déjà de nombreux logiciels sont disponibles, et que la documentation
explique comment installer un logiciel dans son répertoire propre.
.....
50
.
100
.
150
.
200
.
250
.
300
.Autres demandes .Compte CÉCI
.
Compte CISM
.28.175
.
307
FIGURE 26 : REPARTITION DES DEMANDES RELATIVE À LA CRÉATION OU RENOUVELLE-
MENT DE COMPTE
Rapport d’activité 2014 du CISM 29|47
Les demandes habituellement reçues concernent des échecs de jobs, des problèmes
observés de performance, de l’aide à la compilation ou à la connexion aux clusters.
6.2 Formations
Les utilisateurs du CISM peuvent bénéficier de formations au calcul haute performance
sur cluster, quel que soit leur niveau de départ. Les thèmes vont de l’apprentissage des
fonctionnalités de base de Linux et de la ligne de commande à la programmation parallèle
sur les accélérateurs matériels. Cette offre diversifiée est représentée à la figure 27.
Cette année, cette offre a encore été étendue, avec l’ajout de deux nouvelles sessions
dédiées aux langages compilés. Ces deux langages, C++, présenté par Étienne Huens
(ICTM/INMA), et Fortran, par Pierre-Yves Barriat (ELI/ELIC) étaient considérés comme pré-
requis connus des participants aux formations des années précédentes. Autre nouveauté,
la leçon sur Linux a été donnée, cette année, par Alain Ninane (SGSI).
FIGURE 27 : THÈMES PROPOSÉS AUX PARTICIPANTS
Les séances se sont déroulées du 16 octobre au 31 novembre, comme l’année pré-
cédente, dans les salles informatiques du bâtiment Vinci, chacune étant équipée de 25
postes de travail. La séance concernant le language statistique R a quant à elle été orga-
nisée en février 2015 par l’Institut de Statistiques de l’Université.
Cette année, plus de 70 certificats de participation ont été émis par le CISM, pour
les participants venant de chaque université francophone (voir la figure 29). Ces derniers
valorisent leur certificat dans le cadre de leur cursus en école doctorale.
30|47 Rapport d’activité 2014 du CISM
.....
10
.
20
.
30
.
40
.Utilisation de Python sur le cluster .Utilisation de Matlab sur le cluster
.
Les accélérateurs matériels
.
Checkpointing de programmes
.
Gestion de jobs avec Slurm
.
Calcul parallèle avec OpenMP
.
Calcul Parallèle avec MPI II
.
Calcul parallèle avec MPI I
.
Debuggers et profilers
.
Compilateurs et librairies optimisées
.
Accès à distance avec SSH aspects avancés
.
Introduction la programmation Objet en C++
.
Introduction à la programmation avec Fortran
.
Introduction à Linux
. 9.7.
8
.
20
.
27
.
37
.
36
.
39
.
33
.
33
.
20
.
25
.
27
.
39
FIGURE 28 : NOMBRE DE PARTICIPANTS À CHAQUE SÉANCE DE FORMATION
...
UCL
.
40%
..
UNamur
.12%
..
ULB
.
12%
..
ULg
.
32%
..
Autres
.4%
FIGURE 29 : RÉPARTITION DES PARTICIPANTS AUX FORMATIONS EN FONCTION DE LEUR
UNIVERSITÉ D’ACCUEIL
Rapport d’activité 2014 du CISM 31|47
7 2015 ETAUDELÀ...
Pour le CISM, l’année 2015 sera l’année de la mise en service d’une nouvelle salle
machine : le DCIII. Cette salle, dont la finalisation est prévue en automne, devra héberger
l’essentiel des infrastructures du CISM et de IRMP/CP3. Il est donc grand temps d’organiser
le transfert de nos serveurs en minimisant autant que possible la durée de l’interruption
de nos services. Des échanges avec les administrateurs des infrastructures de IRMP/CP3
ont déjà commencé en prévision de la mise en commun de nos services respectifs. Une
réflexion a également été entamée concernant le choix d’un outil efficace de gestion de
l’ensemble des paramètres de la salle tels que le statut des serveurs, la température des
armoires, la consommation électrique, le statut de l’UPS, …
Pour le CÉCI, l’installation des différents clusters sur les cinq sites du consortium ayant
été finalisée en 2014, il restait à mettre en place un environnement de travail efficace
éliminant les barrières limitant la migration des utilisateurs d’un site à l’autre, et donc,
le partage des infrastructures de calcul. Un nouveau projet a donc été déposé en 2014
et accepté pour financement par le FNRS. Ce projet propose l’installation d’un nouveau
système de fichiers partagé permettant à un utilisateur de retrouver ses données sur tous
les clusters du CÉCI. Ce projet suppose également le renforcement des interconnexions
intersites par un réseau 10Gb de niveau 2. Des contacts ont déjà été pris avec Belnet et
un cahier des charges est en préparation pour les parties logicielle et matérielle. L’objectif
est de disposer du nouveau système pour le mois de septembre. De plus, il est grand
temps de penser au renouvellement de nos infrastructures. En effet, Hmem et Lemaitre2,
premiers clusters partagés au sein du CÉCI, entrent respectivement dans leur cinquième
et quatrième année d’utilisation. Leur remplacement est donc à prévoir.
Il reste à signaler l’arrivée de Zenobe, le nouveau supercalculateur Tier-1 du Cenaero,
dans l’environnement du calcul intensif en FWB. Ce nouveau supercalculateur, en produc-
tion depuis fin 2014, est consacré à 60% aux universités et donc, aux utilisateurs du CÉCI.
Ce taux d’utilisation n’est pas encore atteint aujourd’hui mais nous devrions y arriver dans
les prochains mois.
32|47 Rapport d’activité 2014 du CISM
ANNEXES
Les annexes reprennent, dans les pages qui suivent, les différents éléments suivants :
• l’inventaire du matériel de calcul géré par le CISM ;
• l’inventaire du matériel de stockage géré par le CISM ;
• la répartition des utilisateurs de calcul par institut et pôle ;
• la répartition des utilisateurs de stockage par institut et pôle ; et enfin,
• la liste complète des publications ayant été produites par les utilisateurs grâce aux
outils mis à leur disposition par le CISM.
Rapport d’activité 2014 du CISM 33|47
A INVENTAIREDES INFRASTRUCTURESDE STOCKAGE
En 2014, le CISM offrait 297 teraoctets d’espace de stockage sur des baies de disques sécurisées résistant à la perte simultanée de deux disques sans
perte de données. Ces baies de disques sont listées dans la table ci-dessous.
TABLE 3 : INVENTAIRE DES MACHINES DE STOCKAGE
Nom Type de serveur Type de stockage Espace Mise en service
Storage02 SUN Galaxy X4540
2 x Quad core AMD Opteron 2.3GHz 32GB RAM
48 SATA 1TB 36TB (/storage) 12/08
Storage03 Transtec Calleo 344
2 x Quad-core Xeon [email protected] 24GB RAM
30 SATA 2TB, 2 SSD 64GB
(cache zfs)
42TB (/storage) 05/10
Storage04 Supermicro CSE-847E16-R1400UB
2 x Six-core Xeon [email protected] GHz 36GB RAM
34 SATA 3TB 64TB (/storint) 05/11
Storage05 Supermicro CSE-847E16-R1400UB
2 x Six-core Xeon [email protected] GHz 36GB RAM
34 SATA 3TB 64TB (/storint)
91TB (/storext)
05/11
07/12
34|47Rapport
d’activité2014
duCISM
B INVENTAIREDES INFRASTRUCTURESDE CALCUL
Le parc demachines de calcul du CISM se compose principalement de 3machines interactives, listées à la table suivante, un cluster appelé Manneback
qui reprend toutes les machines de calcul acquises par le CISM pour des entités de l’Université, et deux clusters acquis dans le cadre du CÉCI : Hmem
et Lemaitre2.
TABLE 4 : INVENTAIRE DES MACHINES DE CALCUL AU CISM
#nœuds
#cœurs/ nœud
#cœurs
GFlops(peak)
RAM/ nœud(GB)
Architecture Spécificités Mise en service
lm9 (INMA) 1 12 12 144.0 144 Xeon [email protected] Jan 2011
smcs[1-2] (SMCS) 2 12 24 297.6 96 Xeon [email protected] Tesla C2075 Oct 2011
Rapportd’activité
2014duCISM
35|47
TABLE 5 : INVENTAIRE DES MACHINES DE CALCUL AU CISM : MANNEBACK
#nœuds
#cœurs/ nœud
#cœurs
GFlops(peak)
RAM/ nœud(GB)
Architecture Spécificités Mise en service
MANNEBACK (Home : XFS 19.3TB, Scratch : FHGFS 15.0TB)
mback007 (CISM) 1 8 8 86.4 24 Xeon [email protected] Tesla M1060 Feb 2010
mback[008-019] (ELIC) 12 96 8 883.2 24 Xeon [email protected] Infiniband Nov 2009
mback[020-035] (CISM) 14 112 8 1120.0 16 Xeon [email protected] Jan 2010
mback040 (CISM) 1 16 16 281.6 64 Xeon [email protected] Tesla M2090, Xeon Phi 5110P Jan 2013
mback[050-058] (CISM) 9 72 8 720.0 32 Xeon [email protected] Sep 2008
mback[059-095] (CISM) 37 296 8 2960.0 16 Xeon [email protected] Sep 2008
mback[101-121] (NAPS) 21 336 16 5376.0 64 Xeon [email protected] Nov 2009
mback[130-149] (CISM) 20 160 8 1600.0 32 Xeon [email protected] Sep 2008
mback[151-156] (NAPS) 6 192 32 1766.4 128 Opteron [email protected] Sep 2013
mback[158-159] (NAPS) 2 64 32 1228.8 256 Xeon [email protected] Sep 2013
mback160 (NAPS) 1 32 32 563.2 128 Xeon [email protected] Mar 2014
mback[161-168] (CISM) 8 128 16 2662.4 64 Xeon [email protected] Jun 2014
mback[197-219] (CISM) 13 104 8 1040.0 32 Xeon [email protected] Sep 2008
Total 145 1616 20288.0 5800
36|47Rapport
d’activité2014
duCISM
TABLE 6 : INVENTAIRE DES MACHINES DE CALCUL AU CISM : LEMAITRE2, HMEM
#nœuds
#cœurs/ nœud
#cœurs
GFlops(peak)
RAM/ nœud(GB)
Architecture Spécificités Mise en service
LEMAITRE2 (Home : NFS 38.0TB, Scratch : Lustre 120.TB)
lmPp[001-003] (CISM) 3 36 12 374.4 48 Xeon [email protected] Infiniband, Quadro 4000 Feb 2012
lmWn[001-112] (CÉCI) 112 1344 12 13977.6 48 Xeon [email protected] Infiniband Feb 2012
Total 115 1380 14352.0 5520
HMEM (Home : XFS 11.0TB, Scratch : FHGFS 30.0TB)
hmem[01-02] (CÉCI) 2 96 48 844.8 512 Opteron [email protected] Infiniband Dec 2010
hmem[03-09] (CÉCI) 7 336 48 2956.8 256 Opteron [email protected] Infiniband Dec 2010
hmem[10-16] (CÉCI) 7 336 48 2956.8 128 Opteron [email protected] Infiniband Dec 2010
hmem17 (ELIC) 1 48 48 422.4 128 Opteron [email protected] Infiniband Feb 2011
hmem[18-20] (NAPS) 3 24 8 288.0 128 Opteron 8222 [email protected] Oct 2008
Total 20 840 7468.8 4224
Rapportd’activité
2014duCISM
37|47
C RÉPARTITION DES UTILISATEURS DE L’UCL DANS L’UTI-
LISATIONDES INFRASTRUCTURESDE STOCKAGE
SST (92.53%) ELI (73.39%) ELIC (52.87%)
ELIE (19.72%)
CSR (0.71%)
ELIM (0.09%)
IMCN (12.68%) NAPS (12.68%)
IMMC (5.38%) TFL (4.93%)
IMAP (0.45%)
ICTM (0.90%) ELEN (0.60%)
INMA (0.30%)
ISV (0.18%) ISV (0.18%)
SSH (3.14%) IMAQ (1.85%) SMCS (1.80%)
IRES (0.05%)
ESPO (0.67%) COMU (0.67%)
TALN (0.62%) TALN (0.62%)
SSS (0.16%) IREC (0.16%) MIRO (0.16%)
AC (1.79%) ARCV (1.79%) ARCV (1.79%)
LS (0.81%) SGSI (0.81%) SIMM (0.67%)
SISG (0.14%)
EXT (1.57%) VUB (1.57%) VUB (1.57%)
TABLE 7 : RÉPARTITION DES UTILISATEURS DES INFRASTRUCTURES DE STOCKAGE EN SEC-
TEUR/INSTITUT/PÔLE
38|47 Rapport d’activité 2014 du CISM
D RÉPARTITION DES UTILISATEURS DE L’UCL DANS L’UTI-
LISATIONDES INFRASTRUCTURESDE CALCUL
SST (89.03%) IMCN (42.17%) NAPS (39.91%)
BSMA (1.60%)
MOST (0.67%)
IMMC (36.73%) TFL (21.89%)
MEMA (13.16%)
IMAP (1.01%)
GCE (0.66%)
MCTR (0.02%)
ELI (6.50%) ELIC (4.90%)
ELIE (1.59%)
ELIB (0.01%)
ICTM (3.62%) ELEN (3.12%)
INGI (0.38%)
INMA (0.13%)
SSS (9.99%) IREC (5.35%) MIRO (5.35%)
IONS (4.64%) COSY (4.64%)
SSH (0.57%) IMAQ (0.33%) CORE (0.32%)
IRES (0.01%)
LSM (0.15%) LSM (0.15%)
IACS (0.08%) IACS (0.08%)
EXT (0.38%) VUB (0.38%) VUB (0.38%)
TABLE 8 : RÉPARTITION DES UTILISATEURS DES INFRASTRUCTURES DE CALCUL EN SEC-
TEUR/INSTITUT/PÔLE
Rapport d’activité 2014 du CISM 39|47
E ACTIVITÉSDEFORMATION,VEILLETECHNOLOGIQUE,ET
RÉSEAUTAGE
Cette année, l’équipe du CISM a participé à trois évènements liés au calcul intensif et
stockage de masse.
E.1 SlurmUser Group
Slurm est le nom de l’outil de gestion de resources installés sur nos clusters. Le Slurm
User Group Meeting 2014 s’est tenu à Lugano, en Suisse, les 34 et 24 septembre. Ce fut
l’occasion de discuter directement avec les développeurs de Slurm, et d’échanger notre
expérience avec les gestionnaires d’autres centres de calcul intensif utilisateurs de Slurm.
E.2 Réunion Xeon Phi chez HP
Le Xeon Phi est un accélérateur hardware d’Intel, une technologique avancée que nous
étudions pour pouvoir la proposer aux utilisateurs lorsqu’elle sera complètement mature.
Nous avons d’ailleurs dans ce cadre acquis un exemplaire de Xeon Phi, et organisé une
formation à destination des utilisateurs. Comme c’est un domaine qui évolue très vite,
il est toujours intéressant d’obtenir les dernières informations directement de la part du
constructeur.
C’est ce que HP nous a proposé, en organisant en leurs locaux une demi-journée dédiée
au Xeon Phi, le 26 février, où nous avons pu rencontrer les responsables Intel du produit.
Nous avons alors bénéficié d’informations en ‘avant première’ sur les futures évolutions
du produit.
E.3 Storage Expo
Chaque année, est organisée, au Heysel, Storage Expo, un forum ou tous les fournis-
seurs présents sur le marché belge pour le stockage, le réseau et la sécurité, sont présents.
L’évènement s’est déroulé cette année les 26 et 27 mars. C’est pour nous l’occasion de dé-
couvrir les nouveautés de chacun, et de garder les contacts utiles lors des appels d’offres.
40|47 Rapport d’activité 2014 du CISM
F PUBLICATIONS
[1] P. A. Araya-Melo, Michel Crucifix, and N. Bounceur. Global sensitivity analysis of
indianmonsoon during the pleistocene. Climate of the Past Discussions, 10(2) :1609–
1651, 2014.
[2] Stanislav Borisov, Sylvie Benck, and Mathias Cyamukungu. Angular distribution of
protons measured by the energetic particle telescope on proba-v. IEEE Transactions
on Nuclear Science, 61(6) :3371–3379, 2014.
[3] Nabila Bounceur, Michel Crucifix, and R.D.Wilkinson. Global sensitivity analysis of the
climate–vegetation system to astronomical forcing : an emulator-based approach.
Earth System Dynamics Discussions, 5(5) :901–943, 2014.
[4] Fabien Bruneval, Jean-Paul Crocombette, Xavier Gonze, Boris Dorado, Marc Torrent,
and François Jollet. Consistent treatment of charged systems within periodic boun-
dary conditions : The projector augmented-wave and pseudopotential methods re-
visited. Physical review. B, Condensed matter and materials physics, 89(4) :045116
1–13, 2014.
[5] Mathias Cyamukungu, Sylvie Benck, Stanislav Borisov, Viviane Pierrard, and Juan Ca-
brera Jamoulle. The energetic particle telescope (ept) on board proba-v : Description
of a new science-class instrument for particle detection in space. IEEE Transactions
on Nuclear Science, 61(6) :3667 – 3681, 2014.
[6] Bartlomiej Czerwinski and Arnaud Delcorte. Chemistry and sputtering induced by ful-
lerene and argon clusters in carbon-based materials. Surface and Interface Analysis,
46(S1) :11–14, 2014.
[7] Marie Dauvrin and Vincent Lorant. Adaptation of health care for migrants : whose
responsibility ? BMC Health Services Research, 14(1) :294, 2014.
[8] Marie Dauvrin and Vincent Lorant. Cometh - competences in ethnicity and health -
rapport de recherche. Technical report, 2014.
[9] Frazer J. Davies, Hans Renssen, and Hugues Goosse. The arctic freshwater cycle du-
ring a naturally and an anthropogenically induced warm climate. Climate Dynamics,
42(7-8) :2099–2112, 2014.
[10] E.M. De Clercq, S. Leta, A. Estrad-Peña, M. Madder, and S.O. Vanwambeke. Spe-
cies distribution modelling for rhipicephalus microplus (acari : Ixodidae) in benin,
west africa : Comparing datasets and modelling algorithms. Preventative Veterinary
Medicine, 118 (1) :8–21, 2015.
[11] Thomas De Maet, Emmanuel Hanert, and Marnik Vanclooster. A fully-explicit discon-
tinuous galerkin hydrodynamic model for variably-saturated porous media. Journal
of Hydrodynamics, 26(4) :594–607, 2014.
Rapport d’activité 2014 du CISM 41|47
[12] David De Vleeschouwer, Michel Crucifix, Nabila Bounceur, and Philippe Claeys. The
impact of astronomical forcing on the late devonian greenhouse climate. Global and
Planetary Change, 120 :65–80, 2014.
[13] Laurent Delannay, Peng Yan, J.F.B. Payne, and N. Tzelepi. Predictions of inter-granular
cracking and dimensional changes of irradiated polycrystalline graphite under plane
strain. Computational Materials Science, 87 :129–137, 2014.
[14] Lieven Desmet, D Venet, E Doffagne, Catherine Timmermans, T Burzykowski, Ca-
therine Legrand, and M Buyse. Linear mixed-effects models for central statistical
monitoring of multicenter clinical trials. Statistics in Medicine, 33(30) :5265–5279,
2014.
[15] Matthieu Duponcheel, Laurent Bricteux, M Manconi, Grégoire Winckelmans, and
Yann Bartosiewicz. Assessment of rans and improved near-wall modeling for for-
ced convection at low prandtl numbers based on les ur to rer=2000. International
Journal of Heat and Mass Transfer, 75c :470–482, 2014.
[16] Marc Elskens, Olivier Gourgue, Willy Baeyens, Lei Chou, Eric Deleersnijder, Martine
Leermakers, and Anouk Debrauwere. Modelling metal speciation in the scheldt es-
tuary : combining a flexible-resolution transport model with empirical functions.
Science of the Total Environment, 476-477 :346–358, 2014.
[17] Luis E.F. FOA TORRES, Stephan Roche, and Jean-Christophe Charlier. Introduction to
Graphene-based Nanomaterials : From Electronic Structure to Quantum Transport.
Cambridge University Press, 2014.
[18] Benoît Frénay, Gauthier Doquire, and Michel Verleysen. Estimating mutual informa-
tion for feature selection in the presence of label noise. Computational Statistics &
Data Analysis, 71 :832–848, 2014.
[19] Benoît Frénay and Michel Verleysen. Pointwise probability reinforcements for robust
statistical inference. Neural Networks, 50 :124–141, 2014.
[20] Gabriel Geadah-Antonius, Samuel Poncé, Paul Boulanger, Michel Côté, and Xavier
Gonze. Many-body effects on the zero-point renormalization of the band structure.
Physical Review Letters, 112(21) :215501, 2014.
[21] Yannick Gillet, Matteo Giantomassi, and Xavier Gonze. First-principles study of exci-
tonic effects in raman intensities. 2014.
[22] Yannick Gillet, Matteo Giantomassi, and Xavier Gonze. First-principles study of reso-
nant raman intensities in semiconductors : the role of excitonic effects. 2014.
[23] Yannick Gillet, Matteo Giantomassi, and Xavier Gonze. Novel trilinear interpolation
technique to improve the convergence rate of bethe-salpeter calculations. 2014.
[24] D. Golebiowski, X. de Ghellinck d’Elseghem Vaernewijck, M. Herman, J. Vander Au-
wera, and André Fayt. High sensitivity (femto-ft-ceas) spectra of carbonyl sulphide
42|47 Rapport d’activité 2014 du CISM
between 6200 and 8200cm−1, and new energy pattern in the global rovibrational
analysis of 16o12c32s. Journal of Quantitative Spectroscopy & Radiative Transfer,
149(149) :184–203, 2014.
[25] Hugues Goosse and Violette Zunz. Decadal trends in the antarctic sea ice extent
ultimately controlled by ice–ocean feedback. The Cryosphere, 8(2) :453–470, 2014.
[26] Matthieu Génévriez, Xavier Urbain, Mohand Brouri, Aodh O’Connor, Kevin M. Dun-
seath, and Mariko Terao-Dunseath. Experimental and theoretical study of three-
photon ionization of he(1s 2p 3po). Physical review. A, Atomic, molecular, and op-
tical physics, 89(053430) :053430, 2014.
[27] Aliou Hamido. Interaction laser-atome : nouvelles approches théoriques dépen-
dantes du temps. PhD thesis, UCL - SST/IMCN/NAPS - Nanoscopic Physics, 2014.
[28] Geoffroy Hautier, Anna Miglio, Joel Varley, Gerbrand Ceder, Gian-Marco Rignanese,
and Xavier Gonze. Identification and design of low hole effective mass p-type trans-
parent conducting oxides through high-throughput computing. 2014.
[29] Geoffroy Hautier, Anna Miglio, Joel Varley, Gerbrand Ceder, Gian-Marco Rignanese,
and Xavier Gonze. What chemistries will bring low hole effective mass transparent
conducting oxides ? a high-throughput computational analysis. 2014.
[30] Geoffroy Hautier, Anna Miglio, David Waroquiers, Gian-Marco Rignanese, and Xavier
Gonze. How does chemistry influence electron effective mass in oxides ? a high-
throughput computational analysis. Chemistry of Materials, 26(19) :5447–5458,
2014.
[31] Lianhua He, Fang Liu, Geoffroy Hautier, Micael J. T. Oliveira, Miguel A. L. Marques,
Fernando D. Vila, J. J. Rehr, Gian-Marco Rignanese, and Aihui Zhou. Accuracy of
generalized gradient approximation functionals for density-functional perturbation
theory calculations. Physical Review B, 89(6) :064305, 2014.
[32] Paul Hezel, Thierry Fichefet, and FrançoisMassonnet. Modeled arctic sea ice evolution
through 2300 in cmip5 extended rcps. The Cryosphere, 8(8) :1195–1204, 2014.
[33] R. L. Hogenraad. The fetish of archives. Quality & Quantity, 48 (1) :425–437, 2014.
[34] R. L. Hogenraad and R. R. Garagozov. Textual fingerprints of risk of war. Literary and
Linguistic Computing, 29 (1) :41–55, 2014.
[35] François Klein, Hugues Goosse, A. Mairesse, and A. de Vernal. Model–data compa-
rison and data assimilation of mid-holocene arctic sea ice concentration. Climate of
the Past, 10(3) :1145–1163, 2014.
[36] Liza Lecarme, Eric Maire, Amit Kumar K.C., Christophe De Vleeschouwer, Laurent
Jacques, Aude Simar, and Thomas Pardoen. Heterogenous void growth revealed by
in situ 3-d x-ray mocrotomography using automatic cavity tracking. Acta Materialia,
63(–) :130–139, 2014.
Rapport d’activité 2014 du CISM 43|47
[37] Olivier Lecomte, Thierry Fichefet, Martin Vancoppenolle, Florent Domine, Pierre Ma-
thiot, Samuel Morin, Pierre-Yves Barriat, and François Massonnet. On the formulation
of snow thermal conductivity in large-scale sea-ice models. 2014.
[38] Olivier Lecomte, Thierry Fichefet, Martin Vancoppenolle, and François Massonnet.
Interactions between snow and melt ponds in sea-ice models. 2014.
[39] Nicolas Leconte, F. Ortmann, A. Cresti, Jean-Christophe Charlier, and S. Roche. Quan-
tum transport in chemically functionalized graphene at high magnetic field : defect-
induced critical states and breakdown of electron-hole symmetry. 2D Materials,
2014.
[40] Aurélien Lherbier, Humberto Terrones, and Jean-Christophe Charlier. Three-
dimensional massless dirac fermions in carbon schwarzites. Physical review. B,
Condensed matter and materials physics, 90(12) :125434, 2014.
[41] Marie-France Loutre, Emilie Capron, Emma Stone, Aline Govin, Valérie Masson-
Delmotte, Stefan Mulitza, Betty Otto-Bliesner, and Eric W. Wolff. High latitude tem-
perature evolution across the last interglacial : a model-data comparison. Geophy-
sical Research Abstracts, 16 :EGU2014–6196, 2014.
[42] Marie-France Loutre, Thierry Fichefet, H. Goelzer, and P. Huybrechts. Coupled ice
sheet-climate interactions during the last interglacial. 2014.
[43] Marie-France Loutre, Thierry Fichefet, Heiko Goelzer, and Philippe Huybrechts. Cou-
pled ice sheet-climate interactions during the last interglacial simulated with love-
clim. Geophysical Research Abstracts, 16 :EGU2014–6706, 2014.
[44] Marie-France Loutre, Thierry Fichefet, Hugues Goosse, H. Goelzer, and E. Capron.
Factors controlling the last interglacial climate as simulated by loveclim1.3, in pro-
ceedings of pmip3 second general meeting”, namur, belgium, may 25 to may 30.
2014.
[45] Marie-France Loutre, Thierry Fichefet, Hugues Goosse, P. Huybrechts, H. Goelzer,
and E. Capron. Factors controlling the last interglacial climate as simulated by love-
clim1.3. Climate of the Past, 10(4) :1541–1565, 2014.
[46] Yves Marichal. An immersed interface vortex particle-mesh method. PhD thesis, UCL
- SST/IMMC/TFL - Thermodynamics and fluid mechanics, 2014.
[47] Andrea Marini, Samuel Poncé, Elena Cannuccia, and Xavier Gonze. A manybody
approach to the electronphonon problem based on a rigorous merging with densi-
tyfunctional and densityfunctional perturbation theory. 2014.
[48] M. N. A. Maris, B. de Boer, S. R. M. Ligtenberg, Michel Crucifix, W. J. van de Berg,
and J. Oerlemans. Modelling the evolution of the antarctic ice sheet since the last
interglacial. The Cryosphere, 8(4) :1347–1360, 2014.
44|47 Rapport d’activité 2014 du CISM
[49] M. N. A. Maris, S. R. M. Ligtenberg, Michel Crucifix, B. de Boer, and J. Oerlemans.
Modelling the evolution of the antarctic ice sheet since the last interglacial. The
Cryosphere Discussions, 8(1) :85–120, 2014.
[50] François Massonnet, Thierry Fichefet, Hugues Goosse, Pierre-Yves Barriat, Cecilia Bitz,
Marika Holland, and Gwenaelle Philippon-Berthier. Constraining projections of sum-
mer arctic sea ice. 2014.
[51] François Massonnet, Hugues Goosse, Thierry Fichefet, and F. Counillon. Calibration
of sea ice dynamic parameters in an ocean-sea ice model using an ensemble kalman
filter. Journal of Geophysical Research : Oceans, 119(7) :4168–4184, 2014.
[52] François Massonnet, Pierre Mathiot, Thierry Fichefet, Hugues Goosse, Martin Van-
coppenolle, Christof König Beatty, and Thomas Lavergne. A model reconstruction
of antarctic sea-ice thickness and volume changes over the past decades using data
assimilation. 2014.
[53] Anna Miglio, R. Saniz, David Waroquiers, Martin Stankovski, Matteo Giantomas-
si, Geoffroy Hautier, Gian-Marco Rignanese, and Xavier Gonze. Computed elec-
tronic and optical properties of sno2 under compressive stress. Optical Materials,
38(1) :161–166, 2014.
[54] M. Monthioux and Jean-Christophe Charlier. Given credit where credit is due : The
stone-(thrower)-wales designation revisited. Carbon, 75 :1–4, 2014.
[55] Sebastien Moreau, Martin Vancoppenolle, Jiayun Zhou, Jean-Louis Tison, Bruno De-
lille, and Hugues Goosse. Modelling argon dynamics in first-year sea ice. Ocean
Modelling, 73 :1–18, 2014.
[56] Philippe Parmentier, Grégoire Winckelmans, and Philippe Chatelain. Development
and validation of a 2-d compressible vortex particle-mesh method. Bulletin of the
American Physical Society, 59(20), 2014.
[57] Jérôme Paul and Pierre Dupont. Kernel methods for mixed feature selection. 2014.
[58] Jérôme Paul and Pierre Dupont. Statistically interpretable importance indices for
random forests. 2014.
[59] Alice Pestiaux, S.A. Melchior, Jean-François Remacle, T. Kärnä, Thierry Fichefet, and
Jonathan Lambrechts. Discontinuous galerkin finite element discretization of a stron-
gly anisotropic diffusion operator. International Journal for Numerical Methods in
Fluids, 75(5) :365–384, 2014.
[60] Samuel Poncé. Electronic structure of eu-doped ba-si oxynitrides for w-led applica-
tion. 2014.
[61] Samuel Poncé, G. Antonius, P. Boulanger, E. Cannuccia, A. Marini, M. Côté, and Xavier
Gonze. Verification of first-principles codes : Comparison of total energies, phonon
frequencies, electron–phonon coupling and zero-point motion correction to the gap
between abinit and qe/yambo. Computational Materials Science, 83 :341–348, 2014.
Rapport d’activité 2014 du CISM 45|47
[62] Samuel Poncé, Gabriel Geadah-Antonius, Paul Boulanger, and Elena Cannuccia. Zero-
point motion effect on the bandgap of diamond : validation of codes. 2014.
[63] Samuel Poncé, Gabriel Geadah-Antonius, Paul Boulanger, Elena Cannuccia, Andrea
Marini, Michel Côté, and Xavier Gonze. Zero-point motion effect on the bandgap of
diamond : validation of codes. 2014.
[64] Samuel Poncé, Gabriel Geadah-Antonius, Yannick Gillet, Paul Boulanger, Jonathan
Laflamme Janssen, Andrea Marini, Michel Côté, and Xavier Gonze. Temperature
dependence of electronic eigenenergies in the adiabatic harmonic approximation.
Physical review. B, Condensed matter and materials physics, 90(21) :214304, 2014.
[65] Samuel Poncé, Gabriel Geadah-Antonius, Yannick Gillet, Paul Boulanger, Andrea Ma-
rini, Masayoshi Mikami, and Xavier Gonze. Temperature dependence in abinit. 2014.
[66] Samuel Poncé, Matteo Giantomassi, Masayoshi Mikami, and Xavier Gonze. Electronic
structure of eu-doped ba-si oxynitrides for w-led application. 2014.
[67] Samuel Poncé, Matteo Giantomassi, Masayoshi Mikami, and Xavier Gonze. Electronic
structure of eu-doped ba-si oxynitrides for w-led application. 2014.
[68] Z.J. Qi, J.A. Rodriguez-Manzo, Andrés Rafael Botello Mendez, S.J. Hong, E.A. Stach,
Y.W. Park, Jean-Christophe Charlier, and A.T.C. Johnson. Correlating atomic struc-
ture and transport in suspended graphene nanoribbons. Nano Letters : a journal
dedicated to nanoscience and nanotechnology, 14(8) :4238–4244, 2014.
[69] L.S. Rothman, I.E. Gordon, Y. Babikov, A. Barbe, D. Chris Benner, A. Fayt, and et al. The
hitran2012 molecular spectroscopic database. Journal of Quantitative Spectroscopy
& Radiative Transfer, 130 :4–50, 2013.
[70] J.C. Rougier and Michel Crucifix. Uncertainly in climate science and climate policy. L.
Lloyd, E. Winsberg, 2014.
[71] Bruno Seny, Jonathan Lambrechts, Thomas Toulorge, Vincent Legat, and Jean-
François Remacle. An efficient parallel implementation of explicit multirate runge–
kutta schemes for discontinuous galerkin computations. Journal of Computational
Physics, 256(1) :135–160, 2014.
[72] Riad Shaltaf, H. K. Juwhari, B. Hamad, J. Khalifeh, Gian-Marco Rignanese, and Xavier
Gonze. Structural, electronic, vibrational, and dielectric properties of labgeo5 from
first principles. Journal of Applied Physics, 115(7) :074103, 2014.
[73] Ryan L. Sriver, Axel Timmermann, Michael E. Mann, Klaus Keller, and Hugues Goosse.
Improved representation of tropical pacific ocean–atmosphere dynamics in an inter-
mediate complexity climate model. Journal of Climate, 27(1) :168–185, 2014.
[74] Nicolas Staelens. Étude de la formation et des propriétés dynamiques, conformatio-
nelles et énergétiques d’assemblages supramoléculaires à base de nanotubes orga-
niques et d’agrégats d’argent dans des brins d’ADN. PhD thesis, FUNDP - SCHI_GCPTS
(groupe de chimie physique, théorique et structurale), 2014.
46|47 Rapport d’activité 2014 du CISM
[75] Edmond Sterpin, Jefferson Sorriaux, Kevin Souris, Stefaan Vynckier, and Hugo Bou-
chard. A fano cavity test for monte carlo proton transport algorithms. Medical
Physics, 41(1) :011706, 2014.
[76] Olivier Thiry and Grégoire Winckelmans. A mixed multiscale model accounting for
thecross term of the sub-grid scale stress. 2014.
[77] Olivier Thiry, Grégoire Winckelmans, and Matthieu Duponcheel. High re wall-
modeled les of aircraft wake vortices in ground effect. Bulletin of the American
physical society, 59(20) :456, 2014.
[78] Christopher Thomas, Jonathan Lambrechts, Eric Wolanski, Vincent A. Traag, Vincent
Blondel, Eric Deleersnijder, and Emmanuel Hanert. Numerical modelling and graph
theory tools to study ecological connectivity in the great barrier reef. Ecological
Modelling, 272 :160–174, 2014.
[79] John Turner, Nicholas E. Barrand, Thomas J. Bracegirdle, Peter Convey, Dominic A.
Hodgson, Martin Jarvis, Adrian Jenkins, Gareth Marshall, Michael P. Meredith, Ho-
ward Roscoe, Jon Shanklin, John French, Hugues Goosse, Mauro Guglielmin, Julian
Gutt, Stan Jacobs, Marlon C. Kennicutt, Valerie Masson-Delmotte, Paul Mayewski,
Francisco Navarro, Sharon Robinson, Ted Scambos, Mike Sparrow, Colin Summe-
rhayes, Kevin Speer, and Alexander Klepikov. Antarctic climate change and the envi-
ronment : an update. Polar Record, 50(03) :237–259, 2014.
[80] Benoît Van Troeye, Yannick Gillet, Samuel Poncé, and Xavier Gonze. First-principles
characterization of the electronic and optical properties of hexagonal liio3. Optical
Materials, 36 :1494–1501, 2014.
[81] Kwinten VanWeverberg, Edouard Goudenhoofdt, Ulrich Blahak, Erwan Brisson, Mat-
thias Demuzere, PhilippeMarbaix, and Jean-Pascal van Ypersele de Strihou. Compari-
son of one-moment and two-moment bulk microphysics for high-resolution climate
simulations of intense precipitation. Atmospheric Research, 147-148(147-148) :145–
161, 2014.
[82] Martin Vancoppenolle, Thierry Fichefet, Steve Ackley, Hayley Shen, François Masson-
net, Pierre Mathiot, and Olivier Lecomte. A first evaluation of wave-ice interactions
on the global mass balance. 2014.
[83] Thomas Vergote, F. Nahra, A. Merschaert, Olivier Riant, Daniel Peeters, and Tom
Leyssens. Mechanistic insight into the (nhc)copper(i)-catalyzed hydrosilylation of
ketones. Organometallics, 33(8) :1953–1963, 2014.
[84] Violette Zunz. Antarctic sea ice variability and predictability at decadal timescales.
PhD thesis, UCL - SST/ELI/ELIC - Earth & Climate, 2014.
Rapport d’activité 2014 du CISM 47|47