présentation préparée avec c. germain, b. kegl et m. jouvin
TRANSCRIPT
La Grille Paris Sud : Plateforme Mutualisée
Grille et CloudAchille Stocchi
LAL, Orsaypour le MRM Grille Paris Sud
Présentation préparée avec C. Germain, B. Kegl et M.
Jouvin
Griile Paris Sud 2
Sommaire
(pré)Histoire de la Grille Paris Sud› Les besoins de la communauté HEP› La collaboration physiciens/informaticiens
Le capital existant› Les différentes ressources› Activités scientifiques
Les nouvelles ambitions
Conclusions
Griile Paris Sud 3
Les Besoins HEP
Depuis 15 ans, HEP repose sur la production et l’exploitation de grandes masses de données› Volume des données simulées ~ données expérimentales› LHC : 15 PB de données expérimentales par an
Stocker et traiter (efficacement) ces données est un défi technologique› Centres de calcul isolés : Impossible, besoin d’infrastructures
de calcul distribuées› HPC et/ou GPU : essentiel des besoins inadaptés, coût élevé
Grille : émerge comme la solution alternative› ~10 ans de R&D pour aboutir à une infrastructure européenne
(mondiale) performante : seule infrastructure pour le LHC
Griile Paris Sud 4
EGI@Orsay
Mise en place d’une ressource local conséquente : GRIF› Initiative conjointe de 6 laboratoires IN2P3/CEA en 2005
2 laboratoires P11 (LAL + IPNO) impliqués, 4 sur Saclay-Orsay-X
› Un des plus gros sites de la grille européenne› Financé par LCG France et EGEE (core services)
GRIF depuis ses origines ouvert à de nombreuses communautés hors HEP› Biomed, sciences de la terre, astrophysique, chimie, systèmes
complexes…
Forte implication dans les projets européens autour de la grille depuis le début (2000)
Griile Paris Sud 5
European Grid Infrastructure
23/01/2012Griile Paris Sud 5
350 sites200K cores50 pays40PBytesEtc.
La grille phare de l’espace européen de rechecheA l’échelle du LHCOuverte depuis son orgine aux autres communautés scientifiques : 3,3M jobs/mois hors HEP
Griile Paris Sud 6
Rencontre Physique/Informatique…
Collaboration entre physiciens et chercheurs en informatique de l’université dès 2002› 2002-2005 : PPF Augernome-Xtremweb pour l’exploration de la
technologie “desktop grid” en // avec la grille de production› Thèse d’informatique d’un ingénieur LAL qui devriendra un membre
des projets européens “desktop grid” des 5 dernières années (EDGeS/EDGI)
› Thèse d’informatique avec intégration des résultats opérationnels dans le principal middleware d’EGI.
A partir de 2005, évolution vers la problématique du traitement des données massives› 2006-2009 : PPF DEMAIN (Des données massives aux interprétations)
Informatique, biologie, traitement du signal, imagerie médicale
› Mise en place du Grid Observatory : collection de données sur la grille pour alimenter la recherche en informatique, portail public d’accès aux données www.grid-observatory.org
Griile Paris Sud 7
… Rencontre Physique / Informatique
A partir de 2010, projets “Grille Paris Sud” associant ressources et expertise en traitement de données acquise dans DEMAIN› 2 MRM : 2010-2011 et 2012-2014 (en cours)› Ressources basées sur GRIF et XtremWeb› Expertise scientifique : LRI (équipe TAO) + LAL (groupe
AppStat)
2002-2005• PPF
Augernome-XtremWeb
2006-2009• PPF
DEMAIN
2010-2011• MRM
Grille Paris Sud
2012-2014• MRM
Grille Paris Sud
Griile Paris Sud 8
Les Ressources
GRIF : une ressource de calcul et de stockage très importante› 8000 cœurs, 2,5 PB de disque dont 30% localisés dans P11› 1 réseau interne privé 10 Gb/s + 1 connectivité externe 10 Gb/s› 6 ans d’expérience de travail en commun quotidien pour la
gestion scientifique et technique du site Expérience de mutualisation gagnant-gagnant
Cloud IaaS (à la Amazon) à partir de la participation au projet européen StratusLab› 250 cœurs, 50 TB de disque› Intégration progressive d’une partie des ressources de GRIF dans
le cloud
Grille XtremWeb : prête à une extension plus large sur PSud
Griile Paris Sud 9
Expertise Technique
Equipe technique gérant ses ressources : ~15 FTEs› ~5 sur l’université Paris 11 (principalement LAL)› 1 grande compétence de gestion d’une infrastructure de production
dans le cadre d’une infrastructure distribuée› Expérience du support utilisateur avec des communautés de toute
taille
Plusieurs experts des technologies de calcul distribués impliqués dans les projets européens autour des différentes composantes› Grille (EGEE/EGI), Cloud (StratusLab), Desktop grid (EDGeS/EDGI)
Expertises spécifiques aux projets, qui peuvent être mutualisées› Visualisation (ex : mur d’image LRI + LAL)› Gestion de données…
Griile Paris Sud 10
Dynamisme Scientifique
Cristallisation de plusieurs projets scientifiques autour du traitement et de l’interprétation des données massives› GRIF est un centre de calcul essentiel pour l’Institut des Systèmes
Complexes› Analyse génétique de variations combinées (haplotypes) avec l’INSERM
ayant débouché sur un article dans Nature Genetics
Grid Observatory : enrichissement des problématiques autour du Green Computing› Instrumentation de la salle machine du LAL pour collecter des données
énergétiques› Corrélation avec les informations sur l’utilisation› GO portal : www.grid-observatory.org
Siminole (2010-2014) : projet financé par l’ANR COSINUS› Rendre les simulations plus efficaces : optimisation, inference et
discriminative learning› Dirigé par l’équipe AppStat du LAL
Griile Paris Sud 11
Des Projets R&D
Poursuite des projets R&D sur les architectures matérielles et les infrastructures de calcul distribuées› PetaQCD : besoins spécifiques à LQCD (calculs massivement
parallèles à fort taux d’échanges, 9 partenaires Physique + Informatique) Postdoc P2IO 2011
› GridCL : impact de l’intégration de ressources many-core/GPU dans les infrastructures de calcul distribuées sur des applications phares de physique R&D P2IO 2011
› Gestion et accès performant à de grands volumes de données dans les infrastructures distribuées, en particulier les clouds
Griile Paris Sud 12
Nouvelles Ambitions…
Faire profiter l’université plus largement de ces moyens importants› De plus en plus de communautés confrontées à
l’interprétation de données massives : les faire bénéficier de l’expérience acquise
› Les expériences réussies naissent de la rencontre d’un besoin et d’une expertise L’Université Paris Sud possède les deux !
› Une relation directe et un “tutorat” sont décisifs L’exploitation efficace des ressources globalisées n’implique pas un
changement de modèle de calcul, mais demande un accompagnement
› MRM : “ambassadeur” de la Grille Paris Sud Faire connaitre les moyens disponibles Assister les utilisateurs dans leurs premiers pas
Griile Paris Sud 13
… Nouvelles Ambitions
Développer le pôle d’expertise en statistique computationelle et apprentissage› Un groupe transverse LRI/INRIA + LAL aux compétences
reconnues 4 thèses co-dirigées, 15 articles co-signés depuis 2006
› Un atout pour les autres communautés de l’université› La chance d’une colocalisation avec de grosses ressources et
des groupes de physique avec des besoins stimulants
Griile Paris Sud 14
MRM : Actions Psud Prévues
Ambassadeur du MRM (1/2 FTE) : faire connaitre la ressource et promouvoir son utilisation dans l’Université Paris Sud› Contacter les départements pour identifier des utilisateurs
potentiels pouvant tirer bénéfice de la plateforme› Organiser des tutoriels sur les différentes composantes de la
plateforme (grille, cloud)› Assister les utilisateurs à la fois dans leur utilisation et le
developpement/portage de leurs applications Cet ambassadeur aura une expertise technique en développement
d’application
Animer une coordination des réflexions autour de la technologie cloud sur l’université › Journée cloud durant l’année 2012-2013
Griile Paris Sud 15
Systèmes informatiques
globalisés
Statistique computationnelle,
apprentissage, optimisation
Données Massives
Une Recherche Intégrative
• Simulation• Expérimentation
• e-science• Partage• Capacité de traitement
Production de données sur leur propre fonctionnement
MotivationProblèmes difficiles, bruitésPassage à l’échelle des méthodes
Déploiement des traitementsOptimisation des systèmes
Griile Paris Sud 16
Plan Campus / Plan Vallée
Le pôle “Grille Paris Sud” est aussi un atout majeur pour Paris Sud dans la dynamique Université de Paris Saclay› Aucun ensemble “ressource + expertise” comparable chez les
autres partenaires› Via GRIF, déjà des liens avec CEA (Irfu) et Ecole Polytechnique
Réflexion depuis plusieurs années dans le cadre de P2IO sur le regroupement possible de l’hébergement des ressources autour d’une salle machine mutualisée› En fait 1 salle sur 2 lieux pour mettre en oeuvre des
problématiques de haute disponibilité
Réflexion en cours sur la possibilité d’une des salles dans la vallée dans le cadre du maintien de P2IO› Réutilisation/transformation d’1 batiment technique existant› Ouverture à d’autres partenaires : discussion en cours avec la DI
Griile Paris Sud 17
Conclusions
10 ans de collaboration riche et fructueuse entre physique et informatique› Construction d’une grande infrastructure de calcul ouverte sur
l’Université Paris Sud, avec des moyens pour chercher et accompagner de nouveaux utilisateurs
› Développement d’activités de recherche autour de cette infrastructure, particulièrement l’interprétation de données massives
Ce pôle ressources + expertise est un atout de Paris Sud dans la dynamique de l’Université Paris Saclay› Pourrait aussi être un axe du réinvestissement de la vallée› P2IO prêt à s’inscrire dans une démarche plus large prenant en
compte d’autres besoins de l’Université
Réflexion souhaitable sur les modalités d’un soutien de PSud au pôle transversal de statistique computationnelle et apprentissage