m.maseraalice: richieste 2004 alice physics data challenge iii richieste 2004 massimo masera...
TRANSCRIPT
M.Masera ALICEALICE: Richieste 2004
ALICEPHYSICS DATA CHALLENGE III
Richieste 2004
Massimo [email protected]
Presentazione basata sulle slide mostrate allaCommissione Scientifica Nazionale I
Il 23 giugno 2003Con piccole correzioni (in particolare sulle disponibilita` LCG globali per l’esperimento)
tratte dalla presentazione di F. Carminati al GDB meeting del 8/7/03
M.Masera ALICEALICE: Richieste 2004
Sommario• Alice DC-3: che cos’e`; quali sono gli scopi• Framework: AliRoot, AliEn . AliRoot, AliEn . Che cosa e’
cambiato per il Data Challenge?• Strumenti comuni di calcolo distribuito:
situazione attuale (EDG-1.4 EDG-1.4 EDG 2.0 EDG 2.0)• Infrastrutture di calcolo necessarie• Infrastrutture di calcolo esistenti e da acquisire • Strumenti comuni di calcolo distribuito per il DC-
3: LHC Computing Grid (LCG)LHC Computing Grid (LCG)
M.Masera ALICEALICE: Richieste 2004
Period(milestone)
Fraction of the final capacity (%)
Physics Objective
06/01-12/01 1% pp studies, reconstruction of TPC and ITS
06/02-12/02 5% First test of the complete chain from simulation to reconstruction for the PPR
Simple analysis tools.Digits in ROOT format.
01/04-06/04 10% Complete chain used for trigger studies.Prototype of the analysis tools.Comparison with parameterised
MonteCarlo.Simulated raw data.
01/06-06/06 20% Test of the final system for reconstruction and analysis.
ALICE PHYSICS DATA CHALLENGES
M.Masera ALICEALICE: Richieste 2004
Physics Data Challenge 3: obiettivi
• Il Physics Performance Report di ALICE e’ in via di completamento e dovrebbe terminare entro la fine dell’anno
• Simulazioni post-PPR: enfasi su hard physics; jets e jet quenching:– a LHC, ma in parte a RHIC, dovrebbe
crescere il contributo di minijet alla produzione di particelle nella zona centrale di rapidita`
M.Masera ALICEALICE: Richieste 2004
Physics Data Challenge 3: obiettivi • Una semplice parametrizzazione signal-freesignal-free di un modello
microscopico non puo` essere usato a causa dell’assenza di fluttuazioni dovute alla produzione di jet e minijet
• E` necessario far ricorso a generatori di eventi come HIJING, che includano la produzione di jet, anche per la simulazione dei cosiddetti “eventi di background” usati con l’event mixing per simulare fenomeni a bassa sezione d’urto
• A pT ~10-20 GeV/c ci si aspetta~1 jet per evento • Jet con pT~200 GeV/c 1000/ mese di presa dati
– Studio di jet con pT fino a qualche 10 GeV/c: questo compito non e` semplice ed e` basato sulla ricerca di leading particles ad alto pT nel barrel.
– La tecnica dell’event mixing (generazione separata di segnale e background) non e` possibile
– Studio di jet cpn pt~100 GeV/c e maggiore : event mixing. Un singolo evento di background puo` essere utilizzato fino a 50 50 voltevolte
M.Masera ALICEALICE: Richieste 2004
Physics Data Challenge 3: obiettivi
• La definizione del numero di eventi da simulare nel DC-3 e` dovuta essenzialmente allo studio dei jet:– 105 eventi per lo studio di jets with pT fino a 10-20 GeV/c con
statistica sufficiente – 104 - 105 eventi per studi di correlazione di particelle e per
iperoni con stranezza singola e doppia (,)– 106 eventi: jet di alto pT ( ~105 eventi di background)– , stati di charmonio e bottomonio e+e- La statistica
necessaria e` dello stesso ordine di grandezza di quanto necessario per i jet. Gli stessi eventi di background possono essere riutilizzati.
– Centralita`: • 50% central events (b<2-3 fm) • 50% minimum bias
M.Masera ALICEALICE: Richieste 2004
Physics Data Challenge 3: scopi• Oltre a simulazioni Pb-Pb: 107 eventi p-p (Pythia) e ~106
p-A (Hijing)• Il DC serve anche per verificare la capacita` di simulare
e soprattutto analizzare una mole di dati ~10% di quella da trattare a regime con le tecnologie informatiche a disposizione ricaduta su framework e middleware
• La durata del DC e` di 6 mesi: la Collaborazione vuole verificare quanti eventi e’ in grado si simulare e analizzare (in modalita` diretta o con mixing) in questo periodo sfruttando sia risorse proprie che risorse disponibili nell’ambito LCG
• Parte dei dati simulati sara` portata al Cern e di qui redistribuita per l’analisi
È un test del framework offline e del modello di calcolo distribuitodistribuito
M.Masera ALICEALICE: Richieste 2004
Il framework
ROOT
AliRoot
STEER
Virtual MC
G3 G4 FLUKA
HIJING
MEVSIM
PYTHIA6
CRT
EMCAL ZDC
FMD
ITS
MUON
PHOSPMD TRD
TPC
TOF
STRUCT START
RICH
RALICE
EVGEN
HBTP
HBTAN
ISAJETA
liEn
DPMJET
Si veda la relazione di F.Carminati alla CSNI del Nov. 2002
M.Masera ALICEALICE: Richieste 2004
AliRoot + AliEn• AliRoot
– C++: 400kLOC + 225kLOC (generated) + macros: 77kLOC – FORTRAN: 13kLOC (ALICE) + 914kLOC (external packages)– Maintained on Linux (any version!), HP-UX, DEC Unix, Solaris– Works also with Intel icc compiler
• Two packages to install (ROOT+AliRoot) + MC’s– Less that 1 second to link (thanks to 37 shared libs)– 1-click-away install: download and make (non-recursive
makefile)
• AliEn– 25kLOC of PERL5 (ALICE) – ~2MLOC mostly PERL5 (opens source components)
• Installed on almost 50 sites by physicists – >50 users develop AliRoot from detector groups– 70% of code developed outside, 30% by the core Offline team
Che cosa c’e` di nuovo in AliRoot?
User Code
VMC
Geometrical Modeller
G3 G3 transport
G4 transportG4
FLUKA transportFLUKA
Reconstruction
Visualisation
Geant3.tar.gz includesan upgraded Geant3
with a C++ interface
Geant4_mc.tar.gz includesthe TVirtualMC <--> Geant4
interface classes
Generators
Monte Carlo VirtualeMonte Carlo Virtuale
M.Masera ALICEALICE: Richieste 2004 ALICE
3 milioni di volumi
Breaking News!
GEANT3 funzio
na a partire dal n
uovo modellatore
M.Masera ALICEALICE: Richieste 2004
Che cosa c’e` di nuovo in AliRoot? NewIO
• Nuovo I/O: verra’ usato nel DC-3 per la prima volta. La gestione dell’IO e’ demandata a un set di classi dedicate (AliLoader, AliRunLoader, AliDataLoader…) e la dipendenza tra classi e’ ridotta con l’uso dei “folder” di root. – Highlights: migliore modularita’, facilita’ di rifare parti
di ricostruzione, possiblita’ di accedere (e spostare se serve) parte dell’informazione che e’ distribuita su piu’ file. Possibilita` di aggiornare l’informazione su MSS aggiungendo nuovi file (ad esempio: vertici, tracce, etc) senza alterare i file contenenti l’informazione di partenza
TPC.RecPoints.root
Object
Tree
TPC.Hits.rootRoot dir
Folder
Kine.root
Event #2TreeH
Event #2
TreeK
Event #1TreeH
Event #1
TreeK
TPC.Digits.rootEvent #1 Event #2
File
ITS.Tracks.root
ITS.Digits.root TPC.Tracks.root
ITS.Hits.root TPC.RecPoints.root
Object
galice.root
RunLoadergAlice TreeE
TreeDTreeD
Nuovo I/O
Piotr Skowronski
M.Masera ALICEALICE: Richieste 2004
I Loaders• Un Loader e` un oggetto responsabile della gestione
dei files– Gestisce I nomi dei file e delle directory (sia a livello di OS
che ROOT)
• “Posting” dei dati su TFolders– Da file a folder – lettura– E viceversa - scrittura
• Sono implementati dei metodi per accedere comodamente ai dati– e.g invece di usare:
dynamic_cast<TTree*> (fEventFolder->FindObject(fgkHeaderContainerName));
si puo’ fareloader->TreeE();
M.Masera ALICEALICE: Richieste 2004
Architettura
AliRunLoader
AliLoader (ITS) AliLoader (PHOS)
This object takes care ofKinematics Track ReferencesHeader
These ones takes care of any data assiciated with one detectorHits Summble DigitsDigits
.....
M.Masera ALICEALICE: Richieste 2004
Architettura
AliRunLoader
AliLoader (ITS) AliLoader (PHOS)
AliDataLoader(Hits)
AliDataLoader(SDigits)
AliDataLoader(Digits)
AliDataLoader(Tracks)
AliDataLoader(RecPoints)
AliDataLoader(Hits)
AliDataLoader(SDigits)
AliDataLoader(Digits)
AliDataLoader(Tracks)
AliDataLoader(RecPoints)
Migliore scalabilita`
Aggiungere nuovi tipi di dato e` facile
AliDataLoader(RawCluseters)
AliDataLoader(Kinematics)
AliDataLoader(Track Refs)
AliDataLoader(Header)
AliBasicLoader(TreeD)
AliBasicLoader(AliITSDigitizer)
AliBasicLoader(QATask)
AliBasicLoader(QAObject)
AliBasicLoader(TreeD)
AliBasicLoader(AliPHOSDigitizer)
AliBasicLoader(QATask)
AliBasicLoader(QAObject)
AliDataLoader(Vertex)
M.Masera ALICEALICE: Richieste 2004
AliROOTAliROOT
UserUserSimulation,
Reconstruction,Calibration,
Analysis
C++
ROOTROOTSystemSystem
GUIPersistent IOUtility Libs
C++
WorldWorldInterfaces &Distributed computing
environment
anything
Nice! I only have to learn C++
Typical HEP use cases:Simulation & Reconstruction
Event mixing
Analysis
Novita` in AliEn: connessione con EDG ( LCG)
M.Masera ALICEALICE: Richieste 2004
Stefano Bagnasco, INFN Torino (DataTAG)
Il primo evento sottomesso via AliEn e’ girato sull’application testbed di EDG (1.4) il 11/03/2003
M.Masera ALICEALICE: Richieste 2004
Server Interface Site
AliEn CESubmission
EDG UI
EDG Site
EDG CE
EDG RB
WN
AliEn
EDG SE
Status report: outbound connectivity
AliEn SE
L’intera Grid e’ vista dal server come un singolo Computing Element (CE) di AliEn e l’intero storage di Grid come uno Storage Element (SE) di AliEn.
Interfaccia AliEn / GRID: job submission
Un “interface site” e’ una macchina User Interface di GRID sulla quale gira la AliEn client suite - ClusterMonitor, CE e SE
L’ interface client prende (“pulls”) un job dal server, genera un jdl appropriato che sia GLUE-compliant e manda il job al Resource Broker (RB)
Sul Worker Node, il job attiva AliEn che comunica direttamente con il server
Nota: AliEn fa parte delSoftware di ALICE.
Non ci sono demoni attivi sul WN
M.Masera ALICEALICE: Richieste 2004
L’output generato dal job di AliEn che gira su un sito EDG e` salvato su uno Storage Element definito dal RB di EDG. L’informazione e’ acquisita da AliEn a partire dal file .BrokerInfo.
I file sono registrati nel Replica Catalogue di EDG
I file sono quindi aanche registrati nel AliEn Data Catalogue usando il Logical File Name di EDG come AliEn Physical File Name
Accedere ai dati da AliEn e` un processo a 2 step via l’ AliEn Data Catalogue and EDG Replica Catalogue.
Il nodo di interfaccia e` anche in grado di effettuare lo stage di file attraverso i 2 sistemi.
Data Catalogue
EDG RC
EDG Site
EDG CE
WNAliEn
EDG SE
LFN
PFN
EDG://<RC>/<LFN>
Interfaccia AliEn / GRID: data management
M.Masera ALICEALICE: Richieste 2004
Problemi aperti
Con EDG 1.4 il tracciamento degli errori e` problematico. Le cose dovrebbero sensibilmente migliorare con EDG 2.0
Il tasso di fallimento nel trasferimento di file tra i due sistemi e’ ancora molto alto (90%). Le ragioni sono:
Instabilita’ di EDG (interruzione di servizi quali RC, FT, etc)
Problemi noti di EDG specifici ad alcuni siti (e.g. RAL)
Problemi di saturazione della staging area dell’interfaccia: il clean up non e’ fatto da AliEn. Il problema e’ superato: clean up fatto localmente.
Crash occasionali del File Transfer Demon Slow file transfer performance
Fortunatamente sono problemi di performance per i quali le soluzioni sono possibili.
M.Masera ALICEALICE: Richieste 2004
Analisi distribuita: AliEnFS
MSS
MSS
MSS
MSS
VFS
Kernel
LUFS
Kernel Space
AliEnFSAliEn API
User Space
castor://
soap://root://
root:// root://
https://
/alien/
alice/ atlas/
data/ prod/mc/
a/ b/
Linux File System
MSS
Il catalogo di AliEn puo’ essere montato in ambiente linux come un file system:
Il browsing del catalogo e l’accesso ai file e’ dal punto di vista dell’utente equivalente all’accesso di un file system convenzionale.
CAVEAT: per file remoti su MSS I tempi di accesso dipendono dalle risorse locali
M.Masera ALICEALICE: Richieste 2004
Analisi distribuita: job splitting
******************************************* * * * W E L C O M E to R O O T * * * * Version 3.03/09 3 December 2002 * * * * You are welcome to visit our Web site * * http://root.cern.ch * * * *******************************************
Compiled for linux with thread support.
CINT/ROOT C/C++ Interpreter version 5.15.61, Oct 6 2002Type ? for help. Commands must be C++ statements.Enclose multiple statements between { }.root [0]newanalysis->Submit();
Analysis Macro
MSS
MSS
MSS
MSS
MSS
CE
CE
CE
CE
CE
merged Trees +Histograms
? Query for Input Data
•Esiste a livello di prototipo in Root/AliEn:
•A partire da una macro di analisi vengono generati tanti job AliEn quanti sono i file su sisti remoti da analizzare
•I job vengono eseguiti in parallelo
•I risultati sotto forma di TTree, TNtuple, istogrammi vengono sottoposti a merge
PROOF Classic
PROOFPROOF
USER SESSIONUSER SESSION
32 Itanium II 2x1GHz, 2 GB RAM, 2x75GB 15K SCSI, Fast/GB Eth
PROOF PROOF SLAVE SERVERSSLAVE SERVERS
M.Masera ALICEALICE: Richieste 2004
Super PROOF
USER SESSIONUSER SESSION
PROOFPROOFM+SM+S
SITE ASITE A
PROOFPROOFM+SM+S
SITE BSITE B
PROOFPROOFM+SM+S
SITE CSITE C
SuperSuperPROOFPROOF
SuperSuperPROOFPROOF
MASTER MASTER
M.Masera ALICEALICE: Richieste 2004
Strumenti di GRID. Situazione attuale
• ALICE ha tentato la produzione di 5000 eventi Pb-Pb (HBT) sull’application testbed di EDG 1.4– 1 job/evento– 12-24 ore di CPU– 1.8 GB/evento 9 TB in tutto
• Start: 15 Marzo 03. Stop 31 Maggio 03• Eventi prodotti 450. 6 eventi/giorno. Abbastanza
per studiare la correlazione di pioni• L’application testbed di EDG non e` adatto a
grandi produzioni
NOTA INTERNA IN PRESS
BA: 3 servers (2 ALICE, 1 CMS)BO: 6 serversCA: 2 serversCNAF: 2 servers
CNAFCNAF
PadovaPadova
“Stress test” della rete•ALICE ha condotto un test sulla capacita’ di utilizzo delle reti• Obiettivi:
•dove sono i bottle neck nelle connessioni di rete?• Le bandwidth sono sufficienti?
• Risultati:• bandwidth saturate in alcuni siti in condizioni di uso normale nel DC• Architettura delle farm: NFS inadeguato per file grandi e thread multipli
CT: 2 serversPD: 6 serversTO: 2 serversTS: 1 server
M.Masera ALICEALICE: Richieste 2004
EDG 2.0 LCG
• L’uso del testbed da parte delle applicazioni e` servito a mettere in luce i problemi esistenti
• La versione 2 di EDG e la versione finale (ottobre LCG) dovrebbero aver risolto la maggior parte dei problemi che si sono presentati
SVILUPPI IN ITALIA• Potenziamento del development testbed di DataGrid in
modo da arrivare ad una versione finale (autunno 2003) che sia production-qualityproduction-quality e completa di VOMS e autenticazione (sviluppati in Italia)
• In parallelo si sta definendo la partecipazione INFN al Certification Testbed di LCG (macchine al CNAF – team distribuito)
M.Masera ALICEALICE: Richieste 2004
Stima delle risorse necessarie• Simulazione:
– 105 Pb-Pb + 107 p-p– Produzione distribuita, replica dei dati (almeno parte) al CERN
• Ricostruzione e analisi :– 5106 Pb-Pb + 107 p-p – Ricostruzione effettuata al Cern e fuori a seconda della disponibilita` di
risorse– I dati originano dal CERN
• Risorse (CPU e Storage) :– 2004 Q1: 1354 KSI2K e 165 TB– 2004 Q2: 1400 KSI2K e 301 TB– Definite nel documento “ALICE Data Challenges” (nota interna ALICE documento “ALICE Data Challenges” (nota interna ALICE
quasi pronta) presentato al PEB di LCGquasi pronta) presentato al PEB di LCG• Le valuazioni numeriche sono state recentemente riviste (Offline
week 10 Giugno 2003)
M.Masera ALICEALICE: Richieste 2004
RISORSE PER IL DC3O4Q1 O4Q2
Alice 1354 1400Total 1354 1400
LCG Declared Capacity for ALICE 941 941LCG Capacity for ALICE in Italy 145 145ALICE planned capacity Italy 400 400
Alice 165 301Total 165 301
LCG Declared Capacity for ALICE 192 192LCG planned Capacity for ALICE in Italy 16 16
70 70
CPU Requirements Ksi2k
Storage Requirements - total TB active data
ALICE planned capacity Italy
Le valutazioni sono descritte nel documento “ALICE Data Challenge Planning” e sono basate su:
• Risultati dei data challenge precedenti
•Stime delle simulazioni da effettuare al 2008, con il rivelatore operativo.
• STORAGE: I 300 TB di dati dovrebbero essere mantenuti su MSS oltre il DC
Piano poliennale
Quota USA Non confermata
M.Masera ALICEALICE: Richieste 2004
RISORSE CHE DOVREBBERO ESSERE DISPONIBILI PER ALICE
@ LCG-1
La quota statunitense e` da confermare
Year CountryCPU capacicty
(kSI2K) Disk Capacity (TB)LCG Support
(FTE)Tape Capacity
(TB)2004 CERN 175 40 3 250
Czech Rep. 18 2 1 2France 120 23 3 154Germany 69 14 3 22Holland 41 1 1 4Italy 145 16 4 25Poland 0 0 0 0Russia 30 8 3 10UK 69 24 2 41USA 150 40 1 50Sweden 90 20 1 20Hungary 35 6 1 0
Total 2004 941 192 23 578
Sum LCG Values Resource
M.Masera ALICEALICE: Richieste 2004
Profilo temporale di uso CPU e storage nel DC3
0
200
400
600
800
1000
1200
1400
1600
KSI2K
1 2 3 4 5 6MONTHS
CPU
ANALYSIS
RECONSTRUCTION
SIMULATION
0
50
100
150
200
250
300
350
TB
1 2 3 4 5 6MONTHS
STORAGE
ANALYSIS
RECONSTRUCTION
SIMULATION
M.Masera ALICEALICE: Richieste 2004
RISORSE ESISTENTI
• Risorse finanziate dalla CSNIII a Catania e a Torino
• Farm LCG a Torino
• Risorse disponibili al TIER-1: in particolare il mass storage e` al TIER-1
• Sub judice CSNIII, eventualmente sbloccabili: 25 k€ a Catania e 12 k€ a Torino
M.Masera ALICEALICE: Richieste 2004
Quadro riassuntivo fine 2003in rosso: s.j. non sbloccato
Centro CPU (KSI2000)
Disco (TB) Nastri (TB)
Tier-1 (valori di picco – I sem 2004)
215 10 50
Torino (esistente a fine 2003 – parte LCG)
50 11.6 0
Torino (s.j. CSNIII 2003)
9 0 0
Catania (esistente) 11 8 0
Catania (s.j. CSNIII 2003)
11 2.4 0
TOTALE 296296 3232 5050
M.Masera ALICEALICE: Richieste 2004
OBIETTIVI di ALICE ITALIA per il DC-3
I SEMESTRE 2004
II SEMESTRE 2004
CPU (KSI2000)
350 140
DISCO (TB)(Escluso spool CASTOR)
45 45
NASTRO (TB) 50 50
•Analisi finali post simulazione: ai Tier2•Obiettivi raggiungibili se il Tier2 LCG di Torino raggiunge la potenza dichiarata al progetto stesso per il 2004 (70 KSI2000 e 8 TB) e se il Tier2 di Catania viene potenziato
M.Masera ALICEALICE: Richieste 2004
Quadro riassuntivo richieste 2004
Sede CPU (KSI2000)
CPU (k€) DISCO (TB)
DISCO (k€)
Torino (LCG)
36 46.2 7 33.6
Catania (CSNIII)
20 25.2 5 24
Totale 56 71.4 12 57.6
Costi: 2.1 k€ per un biprocessore da 1.7 KSI2000 e 4.8 k€/TB IVA inclusa
M.Masera ALICEALICE: Richieste 2004
Milestones 2004
• Scadenza: Gennaio 2004 Milestone: disponibilità dell'interfaccia AliEn <---> LCG-1 per attività di produzione.• Scadenza: 30 Giugno 2004 Milestone: simulazione e ricostruzione (digitizzazione, clusterizzazione e tracciamento nel barrel) nell'ambito del Physics Data challenge di circa 20000 eventi Pb-Pb. L'attività sarà condotta in modo distribuito attraverso AliEn e AliEn+LCG.
M.Masera ALICEALICE: Richieste 2004
ALICE DC-3 e LCG
• AliEn e` l’interfaccia di produzione di ALICE– in modo diretto– via LCG
• Cfr. Attivita` sul testbed e sulla interoperabilita` AliEn/EDG
• ALICE ha il commitment ad usare tutte le risorse LCG disponibili, assunta un’efficienza ragionevole
• Le risorse per il Data Challenge III (gennaio 2004) vanno stabilite adesso
• ALICE non avra` DC nel 2005 • Le richieste per il 2004 sono per il DC-3
M.Masera ALICEALICE: Richieste 2004
Soluzioni di backup
• Se il testbed di produzione di LCG fosse in ritardo o dovesse avere delle instabilita` tali da renderlo inefficiente :– Perderemmo gran parte delle risorse e il
raggiungimento degli obiettivi del DC potrebbe essere in forse
– Almeno in Italia, si potrebbero utilizzare le farm allocate pro tempore ad ALICE direttamente con AliEn
• La conversione dei WN e’ molto semplice• L’aggiunta di CE e SE addizionali e’ un po’ piu’ laboriosa. La
riconversione a LCG potrebbe richedere il mirroring dei dati su MSS
M.Masera ALICEALICE: Richieste 2004
Tier3Sede Richiesta
(k€)Commenti
Bari 15.5 Acquisto di un disk server (~1 TB) e 4 biprocessori
Bologna 7.2 2 biprocessori da rack e 2 monoprocessori per sostituzione di materiale obsoleto e avere un LCFG server
Cagliari 10 Acquisto di un disk server (~2.5 TB)
Catania 7.5 Tre biprocessori rack mountable e un desktop (svecchiamento farm locale)