utict e metr, il calcolo scientifico, accesso al nuovo ... · g. bracco metr/utict - frascati 11...

30
G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso al nuovo cluster CRESCO4 G.Bracco

Upload: phamtu

Post on 17-Feb-2019

215 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

Casaccia 11 Febbraio 2014

UTICT e METR, il calcolo scientifico, accesso al nuovo cluster CRESCO4

G.Bracco

Page 2: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

Contenuto

• ENEAGRID– L'architettura,l'utenza e le applicazioni– Le interfacce utente e i laboratori virtuali– I cluster CRESCO

• I nuovi progetti PON 2007-2013– IT@CHA, TEDAT, LAMRECOR

• Le nuove infrastrutture 2013/2014–CRESCO3–CRESCO4

• L'accesso a CRESCO4• L'utilizzo METR di ENEAGRID/CRESCO nel 2013• Spunti di discussione e conclusioni

Page 3: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

Componenti strutturali “maturi” per garanzia di affidabilità e semplicità di gestione, interfacce Web sviluppate/customizzate per una ambiente utente amichevole:– Autenticazione Kerberos 5– File systems: • AFS/OpenAFS file system geografico• GPFS: file system parallelo anche WAN

–Gestore delle risorse: LSF Multicluster– Interfacce grafiche Web per l'utente:• NX/FARO• Jobrama: Stato dei job & Accounting

– Sistema di monitoring: Zabbix–Gestione Web utenze e progetti: WARC

Architettura di ENEAGRID

Page 4: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

Le risorse di calcolo offerte all'utenza sono attualmente i sistemi Linux x86_64 (i cluster CRESCO ~ 9000 cores) e sistemi speciali dedicati ( ad es. GPU). Storage AFS e GPFS. Le risorse sono distribuite su 6 centri.

ENEAGRID: risorse di calcolo e storage

Page 5: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

~200 utenti che sottomettono job seriali o a parallelismo contenuto e ~50 utenti che sottomettono job HPC altamente paralleli. 

Gli ambiti applicativi a cui afferiscono i principali utenti sono: – fluidodinamica della combustione– chimica computazionale– simulazioni climatiche– analisi della diffusione degli inquinanti nell'atmosfera– tecnologie nucleari– fluidodinamica per l'aerospazio– fisica della fusione nucleare– bioinformatica– sistemi complessi– ….

L'utenza e le applicazioni

Page 6: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

FARO - Fast Access to Remote Objects

Accesso WEB a dati,applicazioni,macchine virtuali realizzato con una integrazione di NX e applicazioni java

Page 7: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

FARO e Laboratori Virtuali

Portali tematici che integrano l'accesso ai dati e alle applicazioni specifici del settore

Page 8: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

Laboratori Virtuali

http://utict.enea.it/it/laboratori-virtuali/virtual-labs

Page 9: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

Laboratori Virtuali

http://utict.enea.it/it/laboratori-virtuali/virtual-labs

Page 10: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

Total displace

ment (mm)

Post

Processor

Total displace

ment (mm)

Total displace

ment (mm)

Post

Processor

Post

Processor

FARO: la visualizzazione 3D

Rendering 3D Remoto

Page 11: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

I cluster CRESCO pre 2013

I cluster CRESCO x86_64 in produzione realizzati nell'ambito di PON 2000-2006 (Portici,Brindisi) o con risorse interne negli anni 2011-2012 (Casaccia,Frascati)

>Portici CRESCO1(672 cores 4U) CRESCO2(2720 blades)IB CISCO 70xx, DDR Intel Clovertown,Tigerton,Nehalem,Westmere

>Casaccia CRESCOC (192 cores, twin 1U)IB Qlogic Silverstorm DDR, AMD 2427 Istanbul

>Frascati CRESCOF (480 cores twin square 2U, GPFS)IB Qlogic 12300 QDR, AMD 6172 Magnycours

>Brindisi CRESCOB (80 cores, 4 U, GPFS)GEthernet, Intel Tigerton

CRESCO1 parte in dismissione e riuso per i servizi ICT di base

Page 12: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

PON 2007-2013

• PON/1 Ricerca Industriale DDR MIUR 01/Ric 18/1/2010– IT@CHA - Tecnologie Italiane per applicazioni avanzate nei Beni Culturali– LAMRECOR - Logistica avanzata per la Mobilità di persone e merci– DIRECTFOOD - Gestione integrata filiere alimentari e canali innovativi

produttore -consumatore

• PON/2 Distretti/Laboratori Pubblico Privati DDR MIUR 713/Ric 29/10/2010

– VIS4FACTORY - Sistemi Informativi Visuali per i processi di fabbrica nel settore dei trasporti

• PON/3 Infrastrutture DDR MIUR 254/Ric 18/5/2011– TEDAT - Centro di eccellenza per le Tecnologie e la diagnostica avanzata nel

settore dei trasporti

Page 13: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

Progetto TEDAT

Centro di Eccellenza per le TEcnologie e la Diagnostica Avanzata nel settore dei Trasporti Il progetto è dedicato al potenziamento delle tecnologie e della strumentazione per i processi, le analisi e la diagnostica avanzata dei materiali e componenti nell'ambito del settore dei trasporti (aerospaziale, automotive, ferroviario, navale)

Progetto Infrastrutture interamente ENEA, localizzato principalmente a Brindisi ed in parte a Portici

Quota ENEA-UTICT 2.221.000 € + 200.000 per opere edili e infrastrutturali

Page 14: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

PON 2007-2013 Progetti operativi

Investimenti:

• IT@CHA [Ricerca industriale] ENEA-UTICT 320 k€ (UTAPRAD,UTICT)

• LAMRECOR [Ricerca industriale] ENEA-UTICT 548 k€(UTICT)

• TEDAT [Infrastrutture] ENEA-UTICT 2.221 k€ (UTTMAT,UTTP,UTICT)

– Portici (2.056 k€)– Brindisi (165 k€)

Page 15: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

CRESCO3

Con risorse dai progetti IT@CHA, LAMRECOR è stato acquisito su Portici un cluster AMD basato su macchine Twin Square SuperMicro & Acer 2 Rack (modello wide) in sala CED CRESCO + Rack di rete

84 nodi 2016 cores in produzione nel 2013.Infiniband QDR QLogic 12800-040 (96 porte)

Test HPL: 75 % efficienza; compilatori con supporto Interlagos (Open64 flag specifiche, Intel 12 specifiche flag librerie ACML)  

Storage: DDN S2A9900 espanso ora a 600 TB

Page 16: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

AMD Iterlagos 6234 2.4 GHz, RAM 64 GB, 24 cores, 84 nodi, 2016 cores, 20 TFlops

CRESCO3

Page 17: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

CRESCO4

Le risorse del progetto TEDAT sono le più rilevanti e hanno permesso di acquisire il cluster CRESCO4, 100 Tflops  

  

  

– 5 Rack di nodi di calcolo per un totale di 304 nodi (4864 cores Intel) 1 rack di servizio per switch IB

– Processore Intel E5-2670, 2.6 GHz, 8 cores– 64 GB RAM/nodo 4 GB RAM/Core– Nodi di tipo Fat Twin (Chassis 4U con 8 nodi)– Storage: DDN S2A9900 ~600 TB condiviso con CRESCO3– Infiniband QDR QLogic/Intel 12800-180 (432 porte)– Nuova sala CED; UPS, nuove batterie – Sistema di condizionamento con free-cooling

Page 18: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

Rete infiniband CRESCO3/CRESCO4

4xDDR 20 Gbps

4xQDR40 Gbps

Page 19: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

Locali CRESCO e CRESCO4

CED CRESCO dal 2008

CED nuovo CRESCO4

Page 20: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

CED CRESCO

Page 21: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

CED CRESCO : in primo piano CRESCO2

Page 22: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

Locale CRESCO4 primavera 2013

Page 23: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

Progetto dell'installazione

Page 24: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

CRESCO4 collaudato ottobre 2013

Page 25: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

CRESCO4

Page 26: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

Accesso a CRESCO4

– Politica di accesso a CRESCO4:• Attività specifiche TEDAT (UTTMAT)• attività prioritarie/strategiche per le UT di ENEA• applicazioni e casi ad alto parallelismo

– Una piccola sezione (256 cores dei 4848 disponibili) è aperta a tutti per porting/test (non produzione!).

– L'accesso alla coda > 256 cores è ristretto ad esperimenti numerici concordati tra UTICT e le Unità Tecniche.

– UTICT ha chiesto alle altre Unità di concordare un programma di attività e le risorse necessarie. • Finora UTTMAT, UTMEA, UTTEI, UTVALAMB

http://www.utict.enea.it/it/laboratori-virtuali/prime-pagine/tedat-hpc-cartella/progetti-numerici-cresco-2014

Page 27: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

Tempo macchina 2013 x le Unità Tecniche

CoreYear %

UTTMAT 972.242 33.38

UTICT 512.868 17.61

UTRINN 413.754 14.21

UTTEI 351.034 12.05

UTFUS 255.877 8.78

UTMEA 253.18 8.69

UTFISST 40.97 1.41

UTFISSM 40.582 1.39

METR 28.9 0.99

UTVALAMB 27.674 0.95

UTTRI 14.113 0.48

UTAGRI 1.108 0.04

UTTP 0.356 0.01

Totale 2912.664 100.00

Utenze:quintier 24.8 #26stravato 4.1 #62

Page 28: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

Tempo macchina 2013 x le Unità Tecniche

CoreYear %

UTTMAT 972.242 33.38

UTICT 512.868 17.61

UTRINN 413.754 14.21

UTTEI 351.034 12.05

UTFUS 255.877 8.78

UTMEA 253.18 8.69

UTFISST 40.97 1.41

UTFISSM 40.582 1.39

METR 28.9 0.99

UTVALAMB 27.674 0.95

UTTRI 14.113 0.48

UTAGRI 1.108 0.04

UTTP 0.356 0.01

Totale 2912.664 100.00

Page 29: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

Spunti di discussione/collaborazione

– Contributo al rapporto annuale CRESCO– Feed back sulla qualità di servizio,suggerimenti,

osservazioni,criticità?– (Chiusura AIX/SP5: problemi residui?)– Esigenze di collaborazione nell'area del supporto

numerico?– Modalità di uso degli storage, collaborazione su

esigenze e soluzioni– Accesso ad altri sistemi HPC (CINECA,PRACE,...)– Esigenze di hardware specifico (GPU,SSD,RAM,PHI..)– Possibilità di hosting/contributo all'infrastruttura– ...

Page 30: UTICT e METR, il calcolo scientifico, accesso al nuovo ... · G. Bracco METR/UTICT - Frascati 11 Febbraio 2014 Casaccia 11 Febbraio 2014 UTICT e METR, il calcolo scientifico, accesso

G. Bracco METR/UTICT - Frascati 11 Febbraio 2014

ENE

Conclusioni

Date le note condizioni al contorno per poter garantire la disponibilità in ENEA di risorse di calcolo allo stato dell'arte è importante coinvolgere UTICT nei meccanismi coi quali le altre unità tecniche riescono a procurarsi i fondi per le attività che loro competono.

La disponibilità di sistemi HPC interni all'ENEA garantisce competenza specifica HPC e accesso a risorse indispensabili per le attività di simulazione avanzata in modo semplice e flessibile.

E' importante per UTICT che venga riconosciuto in ogni sede il contributo fornito dall'utilizzo dei sistemi di calcolo e dell'eventuale supporto dedicato al fine del raggiungimento dei risultati specifici raggiunti.