condor standard. sistema batch. tool di installazione d. bortolotti,p.mazzanti,f.semeria workshop...
TRANSCRIPT
Condor standard. Sistema Condor standard. Sistema Batch. Tool di installazioneBatch. Tool di installazione
D. Bortolotti,P.Mazzanti,D. Bortolotti,P.Mazzanti,F.SemeriaF.Semeria
Workshop CalcoloWorkshop CalcoloPaestum 9-12 Giugno 2003Paestum 9-12 Giugno 2003
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
SommarioSommario
Stato del pool nazionaleStato del pool nazionale
Tool di installazione automaticaTool di installazione automatica
bbs: un nuovo sistema batchbbs: un nuovo sistema batch
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Cosa e` CondorCosa e` Condor
Condor converte un insieme di workstation Condor converte un insieme di workstation scorrelate in un sistema di calcolo scorrelate in un sistema di calcolo high-high-throughputthroughput
E` un sistemaE` un sistema non invasivo non invasivo
Il proprietario della macchina Il proprietario della macchina mantiene il mantiene il controllo totale della macchina stessa.controllo totale della macchina stessa.
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Cosa e` Condor (cont.)Cosa e` Condor (cont.)
Condor cerca di runnare un job anche se Condor cerca di runnare un job anche se alcune macchine:alcune macchine:– Vanno in crashVanno in crash– Vengono disconnesseVengono disconnesse– Sono tolte o aggiunte al poolSono tolte o aggiunte al pool– Condor utilizza risorse che altrimenti Condor utilizza risorse che altrimenti
andrebbero perduteandrebbero perdute
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Organizzazione del progettoOrganizzazione del progetto
Coordinatore: Paolo Mazzanti.Coordinatore: Paolo Mazzanti.Central Management: (condor-Central Management: ([email protected])[email protected])Local Management: ~25 persone. Local Management: ~25 persone. ([email protected]): ([email protected]): Steering Committee.Steering Committee.Contratto di supporto software col Contratto di supporto software col Madison Condor TeamMadison Condor Team
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Stato del PoolStato del Pool
Nuovo Central Manager: Nuovo Central Manager: cmcondor.bo.infn.itcmcondor.bo.infn.it
CPU: Linux ~120, Alpha ~56CPU: Linux ~120, Alpha ~56
9 checkpoint server:9 checkpoint server:
Bo,Cnaf,Lngs,Mi,Na,Pd,Pv,To,TsBo,Cnaf,Lngs,Mi,Na,Pd,Pv,To,Ts
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Utilizzo del poolUtilizzo del pool
Nel periodo Giugno 2002-Maggio 2003 Nel periodo Giugno 2002-Maggio 2003 utilizzati 78 anni di CPU.utilizzati 78 anni di CPU.
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Perche’ il pool non cresce?Perche’ il pool non cresce?
Possibili varie cause, tra cui la difficoltà di Possibili varie cause, tra cui la difficoltà di installazione?installazione?
La CCR ha auspicato la creazione di un La CCR ha auspicato la creazione di un sistema di installazione semplificato (vedi sistema di installazione semplificato (vedi seguito)seguito)
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Condor At LargeCondor At Large
Growing use in commercial worldGrowing use in commercial world– Oracle: automated software building & testing Oracle: automated software building & testing – Micron: chip design, simulation, defect analysis, Micron: chip design, simulation, defect analysis,
testingtesting– Leica Geosystems: image analysisLeica Geosystems: image analysis– many others…many others…
Over 400 Condor pools in production worldwideOver 400 Condor pools in production worldwide– USA, Italy, Mexico, Brazil, UK, Germany, Spain, USA, Italy, Mexico, Brazil, UK, Germany, Spain,
France, Poland, Hungary, more…France, Poland, Hungary, more…– More than 14,000 CPUsMore than 14,000 CPUs
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Tool di installazioneTool di installazione
Tre tipi di installazioneTre tipi di installazione– server: solo binari e librerieserver: solo binari e librerie– client: solo file di configurazioneclient: solo file di configurazione– completa.completa.
Installazione via rpm o shar fileInstallazione via rpm o shar file
Interfaccia web:Interfaccia web:http://www.bo.infn.it/calcolo/condor/http://www.bo.infn.it/calcolo/condor/
infn-installation-tool.htmlinfn-installation-tool.html
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Installazione serverInstallazione server
Contiene i binari e le librerie.Contiene i binari e le librerie.
Tipicamente fatta su server nfs o afs: Tipicamente fatta su server nfs o afs: esporta i binari e le librerie ai client.esporta i binari e le librerie ai client.
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Installazione clientInstallazione client
Crea l’utente condor e installa i file di Crea l’utente condor e installa i file di configurazione con i dati forniti da webconfigurazione con i dati forniti da web
Crea i file di startup e di shutdown dei Crea i file di startup e di shutdown dei demoni di condor.demoni di condor.
Inserisce la path dei binari nella PATH Inserisce la path dei binari nella PATH utenti.utenti.
Richiede l’esistenza dei binari.Richiede l’esistenza dei binari.
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Installazione completaInstallazione completa
Client + ServerClient + Server
Tutto il distribution di Condor e i file di Tutto il distribution di Condor e i file di configurazione sulla stessa macchina.configurazione sulla stessa macchina.
Non richiede NFS o AFSNon richiede NFS o AFS
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Documentazione:Documentazione:
http://www.bo.infn.it/calcolo/condor/condor-tool-installazione.dochttp://www.bo.infn.it/calcolo/condor/condor-tool-installazione.doc
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Bologna Batch System (bbs)Bologna Batch System (bbs)
Collaborazione col Condor Team di Collaborazione col Condor Team di Madison-Wisconsin.Madison-Wisconsin.
E’ in fase di test nella Sezione di Bologna E’ in fase di test nella Sezione di Bologna su macchine linux centrali.su macchine linux centrali.
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Bbs: requirementsBbs: requirements
I bbs job sono I bbs job sono vanilla jobsvanilla jobs: no : no checkpoint, no relink con librerie di checkpoint, no relink con librerie di Condor.Condor.
Hanno la precedenza su altri Condor jobHanno la precedenza su altri Condor job
Partono indipendentemente dal carico Partono indipendentemente dal carico della cpu o dall’attivita’ della consolle.della cpu o dall’attivita’ della consolle.
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Bbs: configurazioneBbs: configurazione
Due tipi di job: Due tipi di job: shortshort e e longlong (due ‘code’). (due ‘code’).
Su ogni macchina (biprocessore) possono Su ogni macchina (biprocessore) possono runnare 4 runnare 4 longlong e 2 e 2 short.short.
I job I job shortshort hanno un hanno un nicenice minore dei minore dei longlong
Un job Un job shortshort puo’ runnare per 1 ora puo’ runnare per 1 ora
Tutti i parametri sono modificabiliTutti i parametri sono modificabili
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Condor Class AdsCondor Class Ads
Il sistema con cui Condor associa un job a Il sistema con cui Condor associa un job a una macchina.una macchina.
Ogni job ha una serie di parametri. Ogni Ogni job ha una serie di parametri. Ogni macchina esegue solo i job i cui parametri macchina esegue solo i job i cui parametri hanno determinati valori.hanno determinati valori.
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Esempio submit fileEsempio submit file
executable=testexecutable=test
input=test.ininput=test.in
esp=Aliceesp=Alice
queuequeue
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Esempio exec. machineEsempio exec. machine
START= (esp==Alice || START= (esp==Alice ||
esp==CMS)esp==CMS)
RENICE= 5*(esp==Alice)+RENICE= 5*(esp==Alice)+
10*(esp==CMS)10*(esp==CMS)
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Bbs submit fileBbs submit file
Sono stati creati due script:Sono stati creati due script:
bbs_sumbit_shortbbs_sumbit_short
bbs_submit_longbbs_submit_long
che aggiungono al submit file i parametriche aggiungono al submit file i parametri
opportuni per essere riconosciuti come bbs opportuni per essere riconosciuti come bbs jobs jobs shortshort e e longlong
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
UtilizzoUtilizzo
L’uso del bbs L’uso del bbs non richiedenon richiede la la ricompilazione e il relink dei programmiricompilazione e il relink dei programmi
QualunqueQualunque programma o script puo’ programma o script puo’ essere runnato col bbsessere runnato col bbs
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
Esempio reale: MathematicaEsempio reale: Mathematica
executable = /opt/Mathematica/4.2.1/bin/mathexecutable = /opt/Mathematica/4.2.1/bin/math
environment = HOME=/yp/usersi/semeriaenvironment = HOME=/yp/usersi/semeria
universe = vanillauniverse = vanilla
input = math.ininput = math.in
output = math.outoutput = math.out
error = math.errorerror = math.error
log = math.loglog = math.log
queuequeue
10/06/200310/06/2003 Workshop CCR, PaestumWorkshop CCR, Paestum
DocumentazioneDocumentazione
http://www.bo.infn.it/calcolo/condor/bbs.dochttp://www.bo.infn.it/calcolo/condor/bbs.doc