vincenzo spinoso · 2019-10-29 · fisica teorica ingegneria asi sviluppo software fenomeni...

Vincenzo Spinoso

Linux Day Bari 2019 - OFFICINA DEGLI ESORDI - Sabato 26 Ottobre 2019

Sommario

● Il progetto ReCaS● ReCaS-Bari● Risorse● Use case● Paradigmi di calcolo● Servizi● Software● Cloud (IaaS, Paas/SaaS)● Progetti● Contatti


Il progetto ReCaS

Il progetto ReCaS (01/10/2011 - 22/07/2015) prevedeva il potenziamento di quattro data center nelle sedi di Bari, Catania, Cosenza e Napoli

Potenziamento Formazione Complessivo

INFN 6.3 M€ 586 k€ 6.9 M€

UNINA 1.9 M€ 216 k€ 2.1 M€

UNIBA 4.2 M€ 461 k€ 4.7 M€

TOTALI 12.4 M€ 1.3 M€ 13.7 M€


Il data center ReCaS-Bari● Sito unitario realizzato in maniera integrata da INFN e UNIBA● Comproprietà e co-gestione INFN/UNIBA● Ospitato in un edificio di 2 piani costruito appositamente● Superficie di 430 mq per piano● Sala calcolo (piano terra, 270 mq)● 4 isole da 20 rack (2 file contrapposte da 10 rack)


ReCaS-Bari: risorse computazionali128 server (processori) (36 INFN - 92 UNIBA) → ~9000 CPU core

3552 TB di spazio disco (1152 INFN - 2400 UNIBA)

Tape Library in grado di archiviare 2.5 PB di dati (UNIBA)

Cluster HPC: 20 server, complessivi 800 core Intel, InfiniBand e 20 GPU NVIDIA K40 (UNIBA)

Spazio utente (“home”) con doppia copia online, file system GPFS, alta affidabilità dei dati (UNIBA)

LAN a matrice piatta, 10 Gbps punto-punto, 2 switch Huawei (attivo-passivo, 480 porte, 400 ottiche, con capacità di scalare fino a 576 connessioni ciascuno) (INFN)

Rete di management (1 Gbps) con switch dedicati su sottorete specifica e isolataper garantire sicurezza degli accessi

Firewall


Ambiti di ricerca / utilizzoFisica delle particelle

Biologia

Astrofisica

Chimica

Psichiatria

Fluidodinamica

Telerilevamento

Geologia

Matematica

Diagnostica per immagini

Agraria

Informatica Economia

Ecologia marinaScienze della Formazione

Supporto alla didattica

Fisica teorica

Ingegneria

ASI

Sviluppo software

Fenomeni atmosferici

Meteorologia

Protezione Civile

Analisi dei segnali


Paradigmi di calcoloCalcolo Distribuito

Suddivisione su un gran numero di computer di processi che richiedono grande potenza di calcolo

Esempio: fisica delle particelleCloud Computing

Risorse di calcolo disponibili

online, su richiesta dell’utente

(on-demand), elastiche e

scalabili

Calcolo Parallelo

Processamento di problemi

complessi su nodi di calcolo in

continua e rapida comunicazione

fra di loro

Esempio: previsioni meteo


Servizi

● Farm batch (HTCondor https://research.cs.wisc.edu/htcondor/ )

○ La farm batch dispone di circa 9000 job slot ciascuno dei quali ha a disposizione 4 GB di RAM.

○ Ciascun server di calcolo può accedere, alla velocità di 10 Gbps, a tutto lo spazio disco di ReCaS-Bari, pari a

3800 TB in singola replica più 180 Tb in replica due (per i dati più preziosi)

○ Per la gestione dello storage viene utilizzato il file system distribuito GPFS

● Cluster HPC (sempre HTCondor) → GPU

● Storage (GPFS, CEPH)

● Personal storage (owncloud)

● Tape library

● Cloud (vedi slide successive)

https://research.cs.wisc.edu/htcondor/


Ecosistema software


Cloudpiattaforma cloud IaaS (Infrastructure as a Service) ospitata in ReCaS-Bari, che fornisce risorse di calcolo infrastrutturali secondo il paradigma del cloud computing

basato su OpenStack https://www.openstack.org/

immagini virtuali principalmente Ubuntu, Debian, CentOS

servizi in alta disponibilità

https://www.openstack.org/


Cloud: Servizi PaaS / SaaS● Galaxy cluster on-demand https://usegalaxy.org/

● RStudio on-demand https://rstudio.com/

● Jupyterhub on-demand https://jupyter.org/hub

● ShareLaTeX on-demand https://it.sharelatex.com/

● Dropbox-like service based on ownCloud https://owncloud.org/

● Desktop as a Service https://guacamole.apache.org/

● Moodle on-demand https://moodle.org

● WordPress on-demand https://it.wordpress.com/

● GitLab https://about.gitlab.com/

● Mesos / Marathon / Chronos http://mesos.apache.org/

https://usegalaxy.org/

https://rstudio.com/

https://jupyter.org/hub

https://it.sharelatex.com/

https://owncloud.org/

https://guacamole.apache.org/

https://moodle.org

https://it.wordpress.com/

https://about.gitlab.com/

http://mesos.apache.org/


R&D ActivitiesReCaS partecipa ad una serie di attività di R&D soprattutto finanziate da progetti sia Europei, che Nazionali e regionaliR&D nel campo dei dati

R&D nel campo degli strumenti di Big Data and AI

ReCaS ha un ruolo fondamentale in un progetto EU da 3M€ per lo sviluppo di soluzione di accesso a dati distribuiti nell’ordine di decine e centinaia di Petabyte su reti ad altissime performance, usando soluzioni tipiche del mondo delle cache dinamiche e intelligenti

ReCaS ha un ruolo fondamentale in diversi progetti sia EU che italiani per implementare soluzioni che permettono l’analisi di big data tramite le moderne tecnologie del paradigma dell’Intelligenza Artificiale, usando risorse cloud distribute e eterogenee


R&D Activities● Tutti gli sviluppi in cui ReCaS è coinvolto sono basati e hanno come risultato

sw Open Source che gira praticamente tutto su Linux.● Usando le più moderne tecniche di Sviluppo e gestione delle attività di testing

e sviluppo● Usando le più moderne tecnologie nel campo IT (Docker, orchestratori, AI,

Cloud, etc)● Tutti i progetti sono pubblici su github e/o simili


ContattiGiorgio Pietro Maggi (ReCaS-Bari Coordinator)

Giacinto Donvito (ReCaS-Bari Technical Coordinator) -- [email protected]

https://www.recas-bari.it → Contatti

https://www.facebook.com/RecasBari

https://twitter.com/RecasBari

https://www.recas-bari.it

https://www.facebook.com/RecasBari

https://twitter.com/RecasBari


Domande?

Follow up: vincenzo.spinoso at ba.infn.it

vincenzo spinoso · 2019-10-29 · fisica teorica ingegneria asi sviluppo software fenomeni...

Documents