16 maggio 2006 - csn1 computing-software-analysis cms-infn team analisi in cms: stato e prospettive...
TRANSCRIPT
16 Maggio 2006 - CSN1Computing-Software-Analysis CMS-INFN TEAM
Analisi in CMS:stato e prospettive del supporto
italiano
16 Maggio 2006 - CSN1 Computing-Software-Analysis CMS-INFN TEAM
2
Preparazione delle Analisi di Fisica (1)
• Physics TDR Vol. 1 (completato Feb 06)– Procedure di Allineamento e Calibrazione– Physics Tools
• Physics TDR Vol. 2 (completamento Giu 06)– Canali di Fisica
16 Maggio 2006 - CSN1 Computing-Software-Analysis CMS-INFN TEAM
3
CMS Physics Notes 2006, con autori INFN
(pubbliche e con referee interno)• Totale di 27 Physics Notes nel 2006, vedihttp://tenchini.home.cern.ch/tenchini/CMS_Note_Italiche_Anno_2006.html
Muon 3 Higgs 7
elec- 4 QCD 1
tau 1 TOP+ew 4
Tracking 2 SUSY 1
B-tag 3 B-phys 1
Physics tools Physics Channels
16 Maggio 2006 - CSN1 Computing-Software-Analysis CMS-INFN TEAM
4
Preparazione delle Analisi di Fisica(2)
• CSA2006 (Novembre 06)– Test della catena completa di ricostruzione ed
Analisi Dati
• Physics TDR Addenda (Inizio 2007)– Studi dettagliati dell’High Level Trigger– Test finale Calibrazioni e Allineamenti– Programma di fisica per < 1 fb-1
5Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
Analisi di CMS (Italia)Analisi di CMS (Italia)
Physics Analyses of First data
Software Algorithms
Software tools & Middleware
Infrastructure
Identification of Physics channels
Commissioning of detectors
Calibration / Alignment
Reconstruction software
(RECO Data)
Analysis Object Data (AOD)
Management Tools
End User Support & Interfaces
Dataset definition & Location
Grid IntegrationPerformances tests
Analysis Job submission (CRAB), etc.
Dataset discovery (DBS), etc.
Resources: Tier1 & Tier2s
(and Tier0)
Services: Tier1 & Tier2s
(and Tier0)
6Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
L’analizzatore “vede” questo…(e non vorrebbe vederlo…)
L’analizzatore “vede” questo…(e non vorrebbe vederlo…)
Ambiente CMS+Grid
CRAB: creazione,
partizionamento e
sottomissione (via BOSS) dei
job
Quali Dataset ci
sono?
(CMS specific)
Dove mandare i
job?
(GRID)
Dove stanno i files del Dataset?
(GRID)
Il job va sul CE scelto dal RB
(GRID node col sw CMS)
Il job esegue
Il job trova i files via il local file
system
(GRID)
I files vengono LETTI e SCRITTI
(GRID)
Il risultato ritorna
allo user!
7Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
CMS Distributed GRID AnalysesCMS Distributed GRID Analyses
Up to ≥100.000 Up to ≥100.000 jobs/monthjobs/month
(peak ≥10.000/day)(peak ≥10.000/day)
Submitted Submitted fromfrom
Destination Destination of jobsof jobs
8Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
Ma l’analizzatore non vede …Ma l’analizzatore non vede …L’infrastruttura dei servizi e risorse Grid
I tools software e middleware sviluppati e mantenuti da Grid e CMS
Il monitoring delle configurazioni e dei servizi (CE, SE, UI, DataBases, tools di trasferimento, sistemi di autorizzazione, Information System, …)
Il debugging quotidianoI workarounds per ovviare alle failures (quotidiane o eccezionali)
Spesso operati in “urgency mode”La difficolta’ di allocare le risorse “prompt” alle richieste della Fisica
Su un Sistema distribuito e complesso (e fragile)La necessita’ di coordinare/contrattare l’uso delle risorse condivise con gli altri esperimenti (tempi e quantita’)
Grid funziona se non si vede che c’e’!
9Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
CMS, Grid e cio’ che sta “in mezzo”
CMS, Grid e cio’ che sta “in mezzo”
Cosa fa CMS Tutto quello che e’ CMS specific
Software di ricostruzione Definizione e catalogazione dei Datasets (trigger driven) Framework di ricostruzione ed analisi Definizione dei contenuti delle classi (objects) fisiche (parametri) e loro
contenuto nei data format (cosa si puo’ fare con gli AOD e cosa no, cosa si puo’ fare coi RECO e cosa no…etc.)
Cosa fa Grid Tutti (o quasi) i servizi di base
Locazione dei files e loro protocollo di accesso Computing Elements, Storage Elements, User Interfaces Resource Broker, Information System, Operating system, local scheduler,
etc.
Ma questo non basta, occorre Tutto quello che interfaccia i servizi di Grid con il software di CMS e
consente quindi di localizzare, gestire e produrre i dati Repliche dei dati in modo consistente per CMS (Datasets o file-blocks) Job tracking CMS-specific e job production, preparation and submission
La interfaccia di accesso del Fisico di CMS Environment e User services CMS Software distribution and installation
10Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
Quali sono i tools che servono…Quali sono i tools che servono…Transfer fileFile (Datasets) ReplicationDashboardResource BrokerFile access local protocols (disk resident or tape resident, or even on cached disks)Local job schedulersInformation SystemAuthorization, authentication, accountingRoles and authoritiesTransparent data accesses by end nodesDatabases replication processes and distribution (partial or global, sink or unsink)Software installation and propagation (versioning included)Etc.
11Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
Quali sono le risorse e l’infrastrutturaQuali sono le risorse e l’infrastrutturaUser InterfacesTier0Tier1Tier2CPU e Farm (CEs)Dischi e MSS (SEs)LAN e WANDataBase servicesUser managementOS e File SystemsEtc
12Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
Chi fa cosa Chi fa cosa
PRS Groups, Detectors commissioning, DAQ, calibration/alignment, …
Physics Analyses of First data
Software Algorithms
Software tools & Middleware
Infrastructure
Analysis job submission, DBS, DLS/FLS, Job tracking, Grid integration, Dataset validation, Dataset transfer, monitoring, User interface, performances tests, management, … [F. Fanzago, M. Corvo, M. Verlato, G. Don Vito, C.Kavka, A. Sciaba’, J. Andreeva, S. Fantinel]
Reconstruction software, AOD definition, fast simulation (FAMOS), generators, software management, geometry, architecture, … [S.Argiro’]
Tier1 resources (35% of CNAF-CMS, <12% of CMS), 2+1+1 Tier2s INFN resources (<10% of CMS, yet to be funded), Tier1 services, Tier2s services, NO INFN contribution to Tier0 Services, …[D. Bonacorsi]
Lead contribution
Lead contribution
Lead contribution
Lead contribution +
(nomi espliciti solo delle persone ex-Grid, ex-LCG o ex-Grid-IT, ex-Tier1-INFN)
13Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
Cosa esiste di funzionateCosa esiste di funzionate
Physics Analyses of First data
Software Algorithms
Software tools & Middleware
Infrastructure
Identificati i canali di Fisica di interesse “italiano” Procedure per le calibrazioni/allinementiStrategie e plans per il commissioningOrganizzazione (Italiana) di Comput/Softw/Physics
Software di ricostruzione nel nuovo framework (CMSSW)Prototipo della definizione degli AOD (ed accesso)
CRAB (job submission sulla Grid, WLCG = EGEE + OSG); Prototipo di DBS; Prototipo di DLS con il Grid LFC; Prototipo di ProdAgent (produzione delle simulazioni); Dataset Transfer (PhEDEx); Configurazione delle UIs; Job real-time tracking; Test of Grid integration and performances; etc.
Coordinamento e attivita’ consolidata dei Tier2+Tier1 INFN per CMS riconosciuto ed apprezzatoRisorse del Tier1 e Tier2 usate da TUTTA CMS via GridServizi Grid e CMS-specific consolidati
14Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
Cosa manca (di fondamentale), del tutto o in parte
Cosa manca (di fondamentale), del tutto o in parte
Physics Analyses of First data
Software Algorithms
Software tools & Middleware
Infrastructure
Un’infinita’ di “piccoli”tools per il commisioningGli strumenti “provati” per produrre ed accedere alle calibrazioni/allineamenti (locale o distribuito via Grid)
Software di supporto alla definizione dei TriggerSoftware e tools per la gestione della ricostruzione al Tier0 e ri-ricostruzione ai Tier1Consolidamento dei contenuti dei data-format (RAW, RECO, AOD, skimmed data)
Supporto agli UtentiTests di integrazione CMS-Grid (performances & functionalities)DataBases replication tools Management Tools (resources and services)Dataset validation and distributionProduction (simulation & reco) support and tools
Risorse che garantiscano le necessita” di CMS (Italia e non) nei Tier2 e Tier1Servizi comuni certi per CMS (+ servizi specifici)Tier0 efficace per L’INFN
15Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
Cosa ci servirebbe …Cosa ci servirebbe …Software tools e Middleware integration
Supporto per CRAB e il Data-Management-System distribuito, piu’ i tools di distribuzione, produzione, re-processing
SVILUPPO, GESTIONE e USER SUPPORT in Italia e al CERN ! Urge personale per “servizio”
Software Ricostruzione, simulazione ed Analisi (personale sulla Filter Farm)
Tier1 Personale dedicato a CMS >2 persone (in sinergia con la gestione
del Tier1) Direzione Tecnica empowered
Hardware delivered nei tempi stabiliti agli Esperimenti (Gare e Commissioning)
Personale sistemistico commisurato all’impresa (17 nuovi posti? Stabili? Quando?)
Tier2 Risorse Hardware nei 2+1+1 Tier2-CMS da oggi, e planning
concordatoTier0
NON c’e’ coinvolgimento dell’INFN in persone! (Ricostruzione e trigger streams tagging)
Filter Farm Nel software di configurazione del trigger l’INFN e’ quasi-assente!
16Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
ConclusioniConclusioniOccorrono Persone dedicate a CMS con skills specifici, non facili da trovare:
4-5 persone, di cui ~ meta’ al CERN (in aggiunta a quelle attuali)
Per fare …le attivita’ che sono sotto dimensionate
Cosa serve per analizzare i dati? L’infrastruttura di risorse e servizi (Tier1 e Tier2), con i tools e gli user che
la sanno usareCosa esiste oggi?
I tools e il software CMS (prototipali ma funzionanti), integrati nella infrastruttura di Grid mantenuta, ma molto fragile
Cosa manca? Alcuni tools di base ed essenziali Performances e scalabilita’ Supporto agli utenti e alle attivita’ (SERVIZI)
Chi deve farlo?: CMS (Italia) in primis, Grid projects, INFN e … CERN!In che tempi?
I Dati reali di CMS ci sono gia’! (Cosmic Challenge) WLCG Service Challenge 4 (SC4) e CMS Computing, Software and
Analysis 2006 (CSA06) sono entro il 2006
17Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
ChiosaChiosa
Vogliamo essere leading nell’analisi di CMS (e possiamo farlo!) La competizione scientifica (anche interna a CMS)
sara’ forte (US & Italy) Abbiamo bisogno di forte supporto, nelle RISORSE
del Computing, da ora e nei prossimi 12 mesiCMS Italia si e’ organizzata per questo (o almeno lo sta facendo)
Computing_Software_Analysis Project CMS-INFN: un solo Teamun solo Team
Non piu’ detector construction, ma Experiment running
18Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
Additional slidesAdditional slides
16 Maggio 2006 - CSN1 Computing-Software-Analysis CMS-INFN TEAM
19
mu e b tag tau jet rec/eflow Met FamosPD H-->WW-->2mu+X y y
MI H-->WW-->2e+X y y
FI H-->ZZ-->4mu y
RMMI H-->ZZ-->4e y
BA H-->ZZ-->2e2mu y y
BO bbH/A-->2mu y y y
PI bbH/A-->2tau y y y
PGPIPVNA ttH y y y y y
TO VV fusion y y y y y
PI single top y y y
PI top mass semilept y y y y
PI t-->Zq (FCNC) y y y
BOPI top adronico y y
MI massa W y y y y y
MI Z prime -> e+e-
FI B0-->J/Psi Phi y
Analisi CMS in Italia e Physics Tools di interesse
16 Maggio 2006 - CSN1 Computing-Software-Analysis CMS-INFN TEAM
20
CT SUSY Chi, sb, gluino y y y y y y
BA SUSY Chi2->Z Chi1
MI qq,gg-->G fotone/jet y y y y
RM pp-->ChiChi 2 fotoni y y y
MI chi2chi2->4e + MET y
MI qq,qg->gG y
PI heavy charged part
Analisi CMS in Italia e Physics Tools di interesse
Mu e b-tag tau jet/eflw MET FAMS
21Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
Preparazione alla Fisica di CMSPreparazione alla Fisica di CMS
Aver definito il P-TDR vol. 1 vuole anche dire che: abbiamo un programma di ricostruzione con
perfomance piu' che soddisfacente per tracce, fotoni, jet, mu ed elettroni, vertici primari e secondari
abbiamo una simulazione Monte Carlo dettagliata del detector, pronta ad essere rifinita coi primi dati veri, e abbiamo prodotto 100 milioni di eventi nel 2005
abbiamo una utilissima fast simulation, veloce ma abbastanza accurata e abbiamo dimostrato che puo' essere usata per molti canali di fisica
22Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
Continua la preparazione alla Fisica di CMS
Continua la preparazione alla Fisica di CMS
Per ottenere risultati della Fisica dobbiamo ancora fare:1. MTCC che ci consentira' di integrare per la prima volta:
rivelatori, acquisizione dell'elettronica di front-end, prima version del Sw di Event Filter. Primi tests delle procedure di allineamento includendo allineamento HW
2. Test-beam di ECAL e ECAL+HCAL che consentiranno di stressare ancora una volta le componenti Sw + studi della risposta combinata ECAL+HCAL. Questo consentira' anche di fare confronti tra dati e Geant4.
3. CSA 06 che consentira' di testare tutta la catena simulazione, ricontruzione, allineamento e calibrazione nonche' tutte le procedure di deployment dei DB che devono essere utilizzate dai vari rivelatori. Il test consentira' di fare un studio completo del workflow e dataflow dei dati T0-T1-T2… Questo include anche una prima versione del software di Tier0.
4. Studi di HLT che consentiranno di fare studi dettagliati delle perfomances degli algorithmi di ricostruzione in termini di CPU.
5. Studi di ottimizzazione in termini di CPU e spazio disco per le varie strutture di dati (data formats)
6. Studi del work-flow e data flow Daq-T0 etc. …
23Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
Tier2 CMS Italia 2006Tier2 CMS Italia 2006
Tier Total Dischi Rete Total
kSI2K TB kEuro # kSI2K TBLAN
/band kEuro
Bari Proto-Tier2 30 10 40 3 15 10 25Legnaro Tier2 60 15 68 0 0 11 FC 32 +15Pisa Tier2-sj 50 15 62 9 45 20 62Roma1 Tier2 30 15 60 8 40 20 nuovo 60
Total 170 55 230 20 100 61 179 194
2006 piano originale boxes - CPU
Richieste 2006
2008 %CMS share: Tier2s Italy 2006 2007 2008 2009 2010 of all CMSCPU pledged WLCG MoU (kSI2K) 350 880 1750 2800 3850 9%CPU of 4 averege Tier2s (kSI2K) 680 1710 3430 5740 9170 18%CPU affordable by INFN 400 1430 3000 5100 8670 16%Disk pledged WLCG MoU (TB) 70 210 530 880 1230 11%Disk of 4 averege Tier2s (TB) 100 260 870 1740 2620 18%Disk affordable by INFN 120 497 1187 1746 2319 24%
24Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
Tier1-CNAF CMSTier1-CNAF CMS
CMS Tier1s: 2008 CPUs (kSI2K) Disks (TB) Tapes (TB) % of All Tier1s # of averg T1
Tier1 US-FNAL 4256 1986 3224 27% 1.9Tier1 INFN-CNAF 1930 880 740 13% 0.9
Pledged resources: WLCG MoU
CMS share: Tier1-CNAF 2008%2006 2007 2008 2009 2010 of all CMS
CPU pledged (kSI2K) 630 840 1930 2800 4030 13%CPU "should be" 760 1900 3790 5190 10180 25%
Disk pledged (TB) 300 420 880 1400 2030 13%Disk "should be" 210 520 1750 2620 3930 25%
Tape pledged (TB) 300 350 740 1440 2100 4%Tape "should be" 380 960 4160 7370 10570 25%
CMS Sharing (~35%)CMS Sharing (~35%)
CMS share: Tier1-CNAF "at large" 2008%2006 2007 2008 2009 2010 of all CMS
CPU "at large" (kSI2K) 570 1060 2840 4060 6930 19%CPU "should be" 760 1900 3790 5190 10180 25%
Disk "at large" (TB) 260 400 1190 1720 3050 17%Disk "should be" 210 520 1750 2620 3930 25%
Tape "at large" (TB) 280 460 1700 2360 3380 10%Tape "should be" 380 960 4160 7370 10570 25%
OptimisticallyOptimistically
25Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
Costi Tier2Costi Tier2CMS Bari, Legnaro, Pisa, Roma1All Tier2s 2006 2007 2008 2009 2010
CPU (kEuros) 166 388 386 333 463Disk (kEuros) 161 547 615 328 224Total (kEuros) 328 935 1001 661 687
Sum06-10 3611
Tetto indicativo dai referee per CMS :~4.9 MEuro)
INFN CMS Tier2s costs
0
200
400
600
800
1000
1200
2006 2007 2008 2009 2010
Year
k€
CPU (kEuros)
Disk (kEuros)
Total (kEuros)
26Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1
CMS Tier2s Disk
0
500
1000
1500
2000
2500
3000
2006 2007 2008 2009 2010
years
TB
Disk Pledged LCGSept05
Disk "should be"
Disk requests INFN
US-CMS-T2s
CMS Tier2s CPU
0
2000
4000
6000
8000
10000
2006 2007 2008 2009 2010
years
kSI2
K
CPU Pledged LCGSept05
CPU "should be"
CPU requests INFN
US-CMS-T2s
Tier2s CMS ItalyTier2s CMS Italy
CPUCPU
DischiDischi