Griglie Computazionali: GRID

Mettere a disposizione risorse di calcolo alivello globale

Chi puo’ usare che cosa e come

Stessi problemi per accedere a IBM360 negli anni 70

Soluzioni molto simili :-}

Come funziona ?

Ricerca di un sistema/account con cui operare

Invio di un Job alle code (Torque-Maui)

Copia dei file con Ftp

Trasferimento dei risultati con ftp

Come fareste “a mano” !!!

Le Risorse di calcolo

Tier_1

INFN- Bologna

3000 CPU

Attivo da 1 anno

Tier_2

Trigrid - CT

512 CPU

Attivo da pochi mesi

Tier_2

CyberSAR - CA

256 CPU

In costruzione

La struttura del Grid

Gli elementi essenziali del Grid

Per gli Utenti:

Per fare sistemi di Calcolo:Computing Element (CE): server del cluster

ui.iasfbo.inaf.it

User Interface (UI): Un sistema su cui e’installato il software di interfaccia (600Mby)

Storage Element (SE): spazio per dati

Working Node (WN): elementi di calcolo (N)

grid-gm.ira.inaf.it

grid-se.ira.inaf.it

wn01.ira.inaf.it

Certificati per il Grid

Costituita Registration AuthorityINAF-BO

La RA garantisce che “siete proprio Voi”alla Certification Authority INFN-GARR

per ottenere i certificati digitali

Con i certificati potete “firmare” e crittografaree-mail e usare le risorse grid grid locali e globali

attraverso una grid user interface

•L'utente si reca di persona dalla RA; (Nanni,Genghini)

•la RA ne accerta l'identità;

•la RA apre l'URL: https://security.fi.infn.it/cgi-bin/RAvfy.pl;

•la RA riempie la pagina con i dati del richiedente: nome,cognome e indirizzo di e-mail;

•viene fornito un numero casuale, che la RA comunicaall'utente;

•l'utente, utilizzando il proprio browser, scarica ilcertificato dell'INFN CA

•entro 48 ore l'utente sottomette la richiesta dicertificato fornendo i dati digitati in precedenza dalla RA;

•entro 2 giorni l'utente riceve istruzioni per scaricare ilcertificato usando lo stesso browser della richiesta

Procedura di richiesta dei certificati

Utilizzo dei Certificati

Alla fine della precedente proceduraavrete un file che contiene il certificato

Puo’ essere caricato nel “browser mail” peravere la firma elettronica

openssl pkcs12 -clcerts -nokeys -in cert.p12 -out usercert.pem

In linux, Con semplici comandi si ottengono ifile dei certificati :-}}}

Certificati su linux

Da copiare nel directory /home/user/.globusdi un sistema “Grid User Interface”

L’ambiente di lavoro

(Su una sistema che ha una “Grid User Interface” )

Utente accede:

•Propria password

•Ha salvato i certificati in .globus

Crea i file :

•Codice sorgente (programma .for .c etc.)

•Shell dei comandi ( procedura )

•Job Description Language (gestione dei fileI/O e delle risorse di rete)

Programs and Command shell

#------ Versione Fortran Intel

#

ifort -o prog_mio prog_mio.f

time ./prog_mio

prog_mio.tcsh

code…..

code …..

prog_mio.f

Job Description Language

Type = "Job";JobType = "Normal";#Executable = "/bin/tcsh";Arguments = “prog_mio.tcsh";StdOutput = "conv.out";StdError = "conv.err";#InputSandbox = {“prog_mio.tcsh",“prog_mio.f","in1.dat","in2.dat"};OutputSandbox = {"conv.err","conv.out","out1.dat", "out2.dat"};

prog_mio.JDL

Submit the job to the grid

edg-job-submit --vo INAF -o JID prog_mio.jdl

edg-job-status -i JID

Retrieving files from host grid014.ct.infn.it******************************************************************************* JOB GET OUTPUTOUTCOME Output sandbox files for the job: -https://grid014.ct.infn.it:9000/VyIS2XzhZdwyAuJUq8gMjQ have been successfully retrievedand stored in the directory: /tmp/jobOutput/VyIS2XzhZdwyAuJUq8gMjQ

************************************************************* BOOKKEEPINGINFORMATION: Printing status info for the Job : Current Status: Done (Success)https://grid014.ct.infn.it:9000/VyIS2XzhZdwyAuJUq8gMjQ Exit code: 0 StatusReason: Job terminated successfully Destination:heplnx11.pp.rl.ac.uk:2119/jobmanager-pbs-M reached on: Fri Oct 3 13:44:23 2003

###Submitted Job Ids######https://grid014.ct.infn.it:9000/WkcSA7qolBBDKGJgJwz7Vwhttps://grid008g.cnaf.infn.it:9000/PhqitGxGWyA5Az-4iPNMPg

edg-job-get-output -i JID

La fase di “Submit” al gridVincolato alla Virtual Organization ( noi INAF)

E’ possibile sottomettere a un nodo di calcolospecifico

edg-job-submit -o JID

-r grid-gm.ira.inaf.it:2119/jobmanager-lcgpbs-grid

job_mio.jdl

Ma la potenza del grid e’ lasciare al “broker“ lascelta del nodo su cui operare.

Richiedere:

• Numero di CPU del nodo

• Librerie/compilatori disponibili sul nodo

• Spazio disco di lavoro e di archivio

Indotto:

Sistema di autenticazione (chi sei ?)

Identita’ globale e Virtual Org. che li accetta

Nodi di calcolo (cluster di calcolo efficienti)

Standard SO (Scientific Linux 3.x)

Sistema efficiente di clustering CPU e Net. File Sys.

Identico modo di operare JDL (unico linguaggio)

Definizione di Sw standard e risorse

Grid Oggi per gli Utenti ??

Sistema ancora immaturo e in forte sviluppo

Utilizzabile per applicazione Batch

Cluster di Calcolo x Grid

(Progetto Inaf-Grid)

1 -- Computing Element

1 -- Storage Element

4 -- Working Nodes :

2 CPU Intel Xeon, 3.0 GHz,Cache 2048 KB, Memoria 2 Giga

Nave scuola !!!!

Non ancora registrato nella griglia

Rete tra I sistemi a1 Gbit/sec.

Ha senso un nodo grid Inaf-Bo ?

Un cluster, costruito su specifiche grid, puo’essere usato anche come sistema locale

oa-bo

ira

CE

CEArea

VO INAF

ClientSE

Serve un forte coordinamento

iasf

Speed ?

Applicazioni Radio e Grid ?

Valutare opportunita’ del batch:

AIPS con parseltongue (facile da usare difficile dainstallare )

CASA

Pipeline di riduzione dati

Correlazione “real time”

Cluster di Calcolo

MACH - 16

AMD Athlon 64 3400+, 2400 MHz, Cache512KB, Memoria 2 Giga

SO: Fedora FC3

MPI: LAM

Comp. Portland : speedup X 4-6

Riparati guasti hw nodo 13

Compilatore Portland ver. 6.2