1
La Grille de calcul du LHC – Novembre 2008
La Grille de Calcul du LHC
Frédéric Hemmer
Adjoint au Chef du Département IT
24 novembre 2008
Visite des Membres du Conseil Régional
d’Ile de France
2
La Grille de calcul du LHC – Novembre 2008
Le pari informatique du LHC• L’accélérateur sera mis en route en 2009
et fonctionnera 10-15 ans• Les expériences vont produire environ
15 millions de Gigaoctets de données chaque année(environ 20 millions de CD!)
• L’analyse des données du LHC requiert une puissance informatique équivalenteà ±100’000 processeurs actuels les plus puissants
• Cela nécessite la coopération de plusieurs centres de calcul étant donné que le CERN ne peut fournirque ± 20% de cette capacité
3
La Grille de calcul du LHC – Novembre 2008
La solution: la Grille
• Utiliser la Grille pour réunir les ressources informatiques des instituts en physique des particules du monde entier
Le World Wide Web fournit un accès simplifié à de l’information stockée en des millions d’endroits
La Grille est une infrastructure fournissant un accès simplifié à de la puissance de calcul et de stockage distribué tout autour du globe
4
La Grille de calcul du LHC – Novembre 2008
Comment fonctionne la Grille?
• Pour l’utilisateur final, elle donne à de nombreux centres de calcul l’apparence d’un seul système
• L’intergiciel, un logiciel de pointe, trouve automatiquement les données et la puissance de calcul nécessaires aux scientifiques
• L’intergiciel distribue la chargeentre les différentes ressources.Il gère également la sécurité,la comptabilisation, la surveillanceet bien plus…
5
La Grille de calcul du LHC – Novembre 2008
7000 tonnes, 150 million de capteursgénérant des données 40 millions de fois par seconde
soit 1 petaoctet/s
L’ experience “ATLAS”
6
La Grille de calcul du LHC – Novembre 2008
7
La Grille de calcul du LHC – Novembre 2008
8
La Grille de calcul du LHC – Novembre 2008
9
La Grille de calcul du LHC – Novembre 2008
Le projet WLHC Computing Grid (WLCG)
• Plus de 140 centres de calcul
• 12 grands centres pour la gestion initiale: le CERN (Tiers-0) et onze Tiers-1
• 38 réseaux de plus petits centres (Tiers-2)
• ± 35 pays impliqués
10
La Grille de calcul du LHC – Novembre 2008
La Hiérarchie des Services du LCG
Tier-0: l’accélérateur• Acquisition de données et traitement initial• Archivage à long terme• Distribution des données Centres Tier-1
Canada – Triumf (Vancouver)France – IN2P3 (Lyon)Germany – Forschunszentrum KarlsruheItaly – CNAF (Bologna)Netherlands – NIKHEF/SARA (Amsterdam)Nordic countries – distributed Tier-1
Spain – PIC (Barcelona)Taiwan – Academia SInica (Taipei)UK – CLRC (Oxford)US – FermiLab (Illinois) – Brookhaven (NY)
Tier-1: “en ligne” avec l’acquisition des données haute disponibilité
• Stockage de masse Données accessibles à la grille
• Analyse de données intensive• Support national, régional
Tier-2: ~140 centres dans ~35 pays• Simulation• Analyse par l’utilisateur final - batch et interactif
11
La Grille de calcul du LHC – Novembre 2008
Infrastructure LCG-France en 2008
Tier-2: LPC Tier-2: LPC
AF: CC-IN2P3AF: CC-IN2P3
Tier-2: LAPPTier-2: LAPP
Tier-3: IPHCTier-3: IPHC
Lyon
Clermont-Ferrand
Ile de France
Marseille
Nantes
Strasbourg
Annecy
Tier-3: IPNLTier-3: IPNL
Tier-3: CPPMTier-3: CPPM
Tier-2: SubatechTier-2: Subatech
Tier-2: GRIF• CEA/DAPNIA• LAL• LLR• LPNHE• IPNO
Tier-2: GRIF• CEA/DAPNIA• LAL• LLR• LPNHE• IPNO
Tier-1: CC-IN2P3Tier-1: CC-IN2P3 GrenobleTier-3: LPSCTier-3: LPSC
12
La Grille de calcul du LHC – Novembre 2008
13
La Grille de calcul du LHC – Novembre 2008
WLCG
Frédéric Hemmer, CERN, IT Department
• LCG a exécuté ~ 44 M jobs en 2007 – la charge continue d’augmenter • La distribution du travail aux Tier 0/Tier 1/Tier 2 illustre réellement
l’importance de la grille– Les Tier 2 contribuent a ~ 50%; > 85% est en dehors du CERN
• Distribution des données vers Tier 1s– Les objectifs des taux de transfert maximums ont été obtenus avec des charges de travail
réelles pour ATLAS et CMS
14
La Grille de calcul du LHC – Novembre 2008
CCRC’08 et au delà
15
La Grille de calcul du LHC – Novembre 2008
Modèles d’utilisation• Peuvent changer de manière
significative (ex: entre CCRC’08 au mois de Mai et cosmics/simulations en septembre)
• Tier 2s livrent régulièrement ~50% du total
• CCRC’08• Simulation
s/cosmics
16
La Grille de calcul du LHC – Novembre 2008
Evolution du job rate
Frédéric Hemmer, CERN, IT Department La charge continue d’augmenter, maintenant à ~ 230k jobs/jour, et va probablement atteindre ~100 M jobs en 2008
• En moyenne en mai: (10.5 M) 340k jobs / jour• Moyenne ATLAS >200k jobs/jour• Moyenne CMS > 100k jobs/jour avec des pointes à 200k
• C’est le niveau requis pour 2008/9
17
La Grille de calcul du LHC – Novembre 2008
Evolution du taux de tâches (job rate)
Frédéric Hemmer, CERN, IT Department La charge continue d’augmenter, maintenant à ~ 230k jobs/jour, et va probablement atteindre ~100 M jobs en 2008
• En moyenne, en septembre: 435 tâches/ jour• Moyenne ATLAS >200k tâches/jour• Moyenne CMS > 100k tâches/jour avec des pointes à 200k
18
La Grille de calcul du LHC – Novembre 2008
CERN et Tier-1sJanvier-Septembre 2008
19
La Grille de calcul du LHC – Novembre 2008
CERN et Tier-1sJanvier-Septembre 2008
Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec
0
200,000
400,000
600,000
800,000
1,000,000
1,200,000
1,400,000
1,600,000
CPU Time Delivered
month (2008)
MS
I2K
-da
ys
.
Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec
0
200,000
400,000
600,000
800,000
1,000,000
1,200,000
1,400,000
1,600,000
1,800,000
Wall-clock Time Delivered
month (2008)
MS
I2K
-da
ys
.
Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec
0
2,000
4,000
6,000
8,000
10,000
12,000
14,000
16,000
18,000
20,000
Disk Storage Used
month (2008)
Te
raB
yte
s
.
Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec
0
5,000
10,000
15,000
20,000
25,000
30,000
35,000
40,000
Tape Storage Used
month (2008)
Te
raB
yte
s
.
ALICE CMS installed capacity (inc. efficiency factor) installed capacity (w/o efficiency factor)ATLAS LHCb MoU commitment (inc. efficiency factor) site average - cpu:wall_clock ratio
20
La Grille de calcul du LHC – Novembre 2008
Fiabilité des Tier 0/Tier 1
Sep 07 Oct 07 Nov 07 Dec 07 Jan 08 Feb 08
All 89% 86% 92% 87% 89% 84%
8 best 93% 93% 95% 95% 95% 96%
Above target (+>90% target)
9 9 11 10 10 10
21
La Grille de calcul du LHC – Novembre 2008
Fiabilité des Tier 2
Fiabilité publiée régulièrement depuis octobre
En février, 47 sites ont eu une fiabilité > 90%
Overall Top 50% Top 20% Sites
76% 95% 99% 89100
Les sites Tier 2 fournissant un rapport:
Parmi les sites Tier 2, sans rapport, 12 sont dans le top 20 du CPU fourni
Sites Top 50%
Top 20%
Sites>90%
%CPU 72% 40% 70%Jan 08
22
La Grille de calcul du LHC – Novembre 2008
Fiabilités
• Amélioration pendant CCRC et l’évolution encourageante/prometteuse• Les tests ne donnent pas une réelle image/représentation – ex: issues spécifiques – expériences cachées,
• “OU” service instances trop sommaires
• a) publication constante des tests VO-specific; • b) réétudier l’algorithm associant les services instances(for combining service instances)
23
La Grille de calcul du LHC – Novembre 2008
Tier 2 Fiabilités
• Grande amélioration• Moyenne par Federation
devrait (bientôt) se compter en #CPU
Pourcentage enregistré lors d’une interruption (disponibilité<< fiabilité)
Federations qui ne transmettent aucun rapport/aucune donnée
Aimeraient fixer l’objectif à 95%
Devrait être réalisable
24
La Grille de calcul du LHC – Novembre 2008
Amélioration de la disponibilité des sites CMS en mai 2008
25
La Grille de calcul du LHC – Novembre 2008
Impact de la Grille de Calcul du LHC en Europe
• Le projet LCG a donné un coup d’accélérateur au projet européen d’une Grille scientifique multi-usage EGEE (Enabling Grids for E-sciencE)
• EGEE est maintenant un projet global et la plus grande Grille au monde
• Cofinancé par la Commission européenne (coût: ±130 M€ sur 4 ans, financé par l’UE à hauteur de 70M€)
• EGEE est déjà utile à plus de 20 applications dont…
Imagerie MédicaleEducation, FormationBio-informatique
Le projet EGEE
Frédéric Hemmer, CERN, IT Department
• EGEE– Démarré en avril 2004, maintenant dans sa 3ème phase (2008-
2010) avec plus de 240 institutions dans 45 pays
• Objectifs– Etablir une grille productive pour
l’e-Science à très grande échelle– Attirer de nouvelles ressources
et des utilisateurs issus del’industrie et de la science
– Maintenir et améliorer “gLite”,la couche intergicielle pour laGrille
Partenaires EGEE-III en France: BT Infrastructures Critiques, CEA, CNRS, CGG Services, CRSA
Applications sur EGEE
• Plus de 25 applications dans unnombre croissant de domaines– Astrophysique– Chimie par modélisation numérique– Sciences de la Terre– Simulation financière– Fusion– Géophysique– Physique des Haute Energies– Sciences de la Vie– Multimédia– Sciences de la matière– …..
Rapport disponible sur : https://edms.cern.ch/document/722132
Exemple: analyse du sous-sol
• Première application industrielle fonctionnant sur EGEE
• Développée par la Compagnie Générale de Géophysique (CGG) en France, qui effectue des simulations géophysiques pour le pétrole, le gaz, les mines etc...
• EGEE a aidé la CGG à mettre en réseau ses ressources informatiques à travers le monde.
30
La Grille de calcul du LHC – Novembre 2008
Pérennité• Nécessité de préparer une Grille permanente• Garantir un haut niveau de service à tous les utilisateurs• Ne plus dépendre des financements de projet à court
terme• Gérer l’infrastructure en collaboration avec les projets
nationaux (National Grid Initiatives - NGI)• European Grid Initiative (EGI)
31
La Grille de calcul du LHC – Novembre 2008
Pour plus d’informations sur la Grille:
www.gridcafe.org
Merci pour votre attention!
www.cern.ch/lcg www.eu-egee.org