vincenzo spinoso · 2019-10-29 · fisica teorica ingegneria asi sviluppo software fenomeni...
Post on 07-Jul-2020
5 Views
Preview:
TRANSCRIPT
Vincenzo Spinoso
Linux Day Bari 2019 - OFFICINA DEGLI ESORDI - Sabato 26 Ottobre 2019
Sommario
● Il progetto ReCaS● ReCaS-Bari● Risorse● Use case● Paradigmi di calcolo● Servizi● Software● Cloud (IaaS, Paas/SaaS)● Progetti● Contatti
Linux Day Bari 2019 - OFFICINA DEGLI ESORDI - Sabato 26 Ottobre 2019
Il progetto ReCaS
Il progetto ReCaS (01/10/2011 - 22/07/2015) prevedeva il potenziamento di quattro data center nelle sedi di Bari, Catania, Cosenza e Napoli
Potenziamento Formazione Complessivo
INFN 6.3 M€ 586 k€ 6.9 M€
UNINA 1.9 M€ 216 k€ 2.1 M€
UNIBA 4.2 M€ 461 k€ 4.7 M€
TOTALI 12.4 M€ 1.3 M€ 13.7 M€
Linux Day Bari 2019 - OFFICINA DEGLI ESORDI - Sabato 26 Ottobre 2019
Il data center ReCaS-Bari● Sito unitario realizzato in maniera integrata da INFN e UNIBA● Comproprietà e co-gestione INFN/UNIBA● Ospitato in un edificio di 2 piani costruito appositamente● Superficie di 430 mq per piano● Sala calcolo (piano terra, 270 mq)● 4 isole da 20 rack (2 file contrapposte da 10 rack)
Linux Day Bari 2019 - OFFICINA DEGLI ESORDI - Sabato 26 Ottobre 2019
ReCaS-Bari: risorse computazionali128 server (processori) (36 INFN - 92 UNIBA) → ~9000 CPU core
3552 TB di spazio disco (1152 INFN - 2400 UNIBA)
Tape Library in grado di archiviare 2.5 PB di dati (UNIBA)
Cluster HPC: 20 server, complessivi 800 core Intel, InfiniBand e 20 GPU NVIDIA K40 (UNIBA)
Spazio utente (“home”) con doppia copia online, file system GPFS, alta affidabilità dei dati (UNIBA)
LAN a matrice piatta, 10 Gbps punto-punto, 2 switch Huawei (attivo-passivo, 480 porte, 400 ottiche, con capacità di scalare fino a 576 connessioni ciascuno) (INFN)
Rete di management (1 Gbps) con switch dedicati su sottorete specifica e isolataper garantire sicurezza degli accessi
Firewall
Linux Day Bari 2019 - OFFICINA DEGLI ESORDI - Sabato 26 Ottobre 2019
Ambiti di ricerca / utilizzoFisica delle particelle
Biologia
Astrofisica
Chimica
Psichiatria
Fluidodinamica
Telerilevamento
Geologia
Matematica
Diagnostica per immagini
Agraria
Informatica Economia
Ecologia marinaScienze della Formazione
Supporto alla didattica
Fisica teorica
Ingegneria
ASI
Sviluppo software
Fenomeni atmosferici
Meteorologia
Protezione Civile
Analisi dei segnali
Linux Day Bari 2019 - OFFICINA DEGLI ESORDI - Sabato 26 Ottobre 2019
Paradigmi di calcoloCalcolo Distribuito
Suddivisione su un gran numero di computer di processi che richiedono grande potenza di calcolo
Esempio: fisica delle particelleCloud Computing
Risorse di calcolo disponibili
online, su richiesta dell’utente
(on-demand), elastiche e
scalabili
Calcolo Parallelo
Processamento di problemi
complessi su nodi di calcolo in
continua e rapida comunicazione
fra di loro
Esempio: previsioni meteo
Linux Day Bari 2019 - OFFICINA DEGLI ESORDI - Sabato 26 Ottobre 2019
Servizi
● Farm batch (HTCondor https://research.cs.wisc.edu/htcondor/ )
○ La farm batch dispone di circa 9000 job slot ciascuno dei quali ha a disposizione 4 GB di RAM.
○ Ciascun server di calcolo può accedere, alla velocità di 10 Gbps, a tutto lo spazio disco di ReCaS-Bari, pari a
3800 TB in singola replica più 180 Tb in replica due (per i dati più preziosi)
○ Per la gestione dello storage viene utilizzato il file system distribuito GPFS
● Cluster HPC (sempre HTCondor) → GPU
● Storage (GPFS, CEPH)
● Personal storage (owncloud)
● Tape library
● Cloud (vedi slide successive)
Linux Day Bari 2019 - OFFICINA DEGLI ESORDI - Sabato 26 Ottobre 2019
Ecosistema software
Linux Day Bari 2019 - OFFICINA DEGLI ESORDI - Sabato 26 Ottobre 2019
Cloudpiattaforma cloud IaaS (Infrastructure as a Service) ospitata in ReCaS-Bari, che fornisce risorse di calcolo infrastrutturali secondo il paradigma del cloud computing
basato su OpenStack https://www.openstack.org/
immagini virtuali principalmente Ubuntu, Debian, CentOS
servizi in alta disponibilità
Linux Day Bari 2019 - OFFICINA DEGLI ESORDI - Sabato 26 Ottobre 2019
Cloud: Servizi PaaS / SaaS● Galaxy cluster on-demand https://usegalaxy.org/
● RStudio on-demand https://rstudio.com/
● Jupyterhub on-demand https://jupyter.org/hub
● ShareLaTeX on-demand https://it.sharelatex.com/
● Dropbox-like service based on ownCloud https://owncloud.org/
● Desktop as a Service https://guacamole.apache.org/
● Moodle on-demand https://moodle.org
● WordPress on-demand https://it.wordpress.com/
● GitLab https://about.gitlab.com/
● Mesos / Marathon / Chronos http://mesos.apache.org/
Linux Day Bari 2019 - OFFICINA DEGLI ESORDI - Sabato 26 Ottobre 2019
R&D ActivitiesReCaS partecipa ad una serie di attività di R&D soprattutto finanziate da progetti sia Europei, che Nazionali e regionaliR&D nel campo dei dati
R&D nel campo degli strumenti di Big Data and AI
ReCaS ha un ruolo fondamentale in un progetto EU da 3M€ per lo sviluppo di soluzione di accesso a dati distribuiti nell’ordine di decine e centinaia di Petabyte su reti ad altissime performance, usando soluzioni tipiche del mondo delle cache dinamiche e intelligenti
ReCaS ha un ruolo fondamentale in diversi progetti sia EU che italiani per implementare soluzioni che permettono l’analisi di big data tramite le moderne tecnologie del paradigma dell’Intelligenza Artificiale, usando risorse cloud distribute e eterogenee
Linux Day Bari 2019 - OFFICINA DEGLI ESORDI - Sabato 26 Ottobre 2019
R&D Activities● Tutti gli sviluppi in cui ReCaS è coinvolto sono basati e hanno come risultato
sw Open Source che gira praticamente tutto su Linux.● Usando le più moderne tecniche di Sviluppo e gestione delle attività di testing
e sviluppo● Usando le più moderne tecnologie nel campo IT (Docker, orchestratori, AI,
Cloud, etc)● Tutti i progetti sono pubblici su github e/o simili
Linux Day Bari 2019 - OFFICINA DEGLI ESORDI - Sabato 26 Ottobre 2019
ContattiGiorgio Pietro Maggi (ReCaS-Bari Coordinator)
Giacinto Donvito (ReCaS-Bari Technical Coordinator) -- donvito@infn.it
https://www.recas-bari.it → Contatti
https://www.facebook.com/RecasBari
https://twitter.com/RecasBari
Linux Day Bari 2019 - OFFICINA DEGLI ESORDI - Sabato 26 Ottobre 2019
Domande?
Follow up: vincenzo.spinoso at ba.infn.it
top related