egee is a project funded by the european union under contract ist-2003-508833 test di performance su...

EGEE is a project funded by the European Union under contract IST-2003-508833

Test di performance su dCache

G.Donvito,V.SpinosoINFN Bari

www.eu-egee.org

Storage meeting, 5 ottobre 2005 - 2

Protocolli

• dcap dCache Access Protocol, è il protocollo di accesso ai file usato da dCache

• gsidcap è il protocollo dcap nella versione GSI (Grid Security Infrastructure); GSI, per mezzo dell'uso dei certificati, consente alle sole persone autorizzate l'accesso alle risorse della GRID stessa

• GridFTP (gsiftp) versione grid del più noto File Transfer Protocol. Consente di muovere datasets di grandi dimensioni tra storage elements all'interno di una grid.

• rfio remote File I/O, protocollo di accesso usato da CASTOR (CERN Advanced STORage Manager).


Librerie• libdcap Sono le API fornite da dCache per l'accesso ai file via dcap

(dCache Access Protocol); l'accesso avviene per mezzo di chiamate POSIX (open, create, read, write ed lseek), insieme a qualche funzione specifica per settare il livello di debugging, catturare messaggi di errore e collegare la libreria a un'interfaccia di rete. Vedi http://www.dcache.org/manuals/libdcap.shtml

• GFAL Grid File Access Library. Questa libreria nasconde le interazioni esistenti tra i vari servizi di grid, presentando un'interfaccia POSIX per l'I/O. A differenza di libdcap, che è specifica di dCache e fornisce supporto al solo dcap, GFAL supporta accesso locale, dcap (dCache access protocol) ed rfio (protocollo di access per CASTOR), nonché il file transfer con GridFTP (gsiftp). Vedi http://grid-deployment.web.cern.ch/grid-deployment/gis/GFAL/GFALindex.html


Librerie•Abbiamo costruito un'applicazione modulare personalizzata in linguaggio C (bench), controllabile da riga di comando per mezzo di opportune opzioni

Per come è stata scritta bench è facile modificarne il codice perché usi librerie diverse da libdcap e GFAL

•Come librerie abbiamo inizialmente usato libdcap e GFAL; quindi abbiamo scelto GFAL:

GFAL è capace di sfruttare tutti i protocolli grid di accesso a file (compresi quelli forniti da libdcap)

GFAL permette di testare un qualunque SE (dCache, DPM, CASTOR);

•Abbiamo quindi testato un server dCache, usando il protocollo dcap È bene sottolineare che non abbiamo apprezzato differenze di

prestazioni (usando lo stesso protocollo) fra le libdcap e le GFAL


Bench• Bench permette di aprire, leggere, scrivere e chiudere dei file di test in

remoto

• più precisamente, può generare dei file con contenuto testuale random direttamente su un SE (gfal_write), e quindi di leggerli in sequenza o in ordine casuale (gfal_read), e ripetendo tutta l'operazione per un certo numero di volte.

• L’accesso ai file remoti può essere personalizzato (buffer di trasferimento, buffer read-ahead in lettura, etc).

• Ogni operazione di apertura, chiusura, lettura e scrittura viene ``cronometrata''; i parametri misurati vengono quindi ``loggati'' in un semplice file di testo semistrutturato.

• La struttura tabellare dei log permette la post-elaborazione delle misure in termini statistici e le misure di prestazione.


Bench (CLI)


Hardware del server dCache

• CPU: 2 Pentium IV Xeon 3GHz • RAM: 2GB • Swap: 1GB • Controller 12 ports PCI-X2SATA-II RAID 6

Controller Name ARC-1130 Main Processor 500MHz IOP331 CPU ICache Size 32KBytes CPU DCache Size 32KBytes / Write Back System Memory 128MB / 333MHz Raid Level Raid 6 Stripe Size 64KBytes Block Size 512Bytes Member Disks 11 (+1 hot spare) Cache Mode Write Back Tagged Queuing Enabled

• Dischi Hitachi DeskStar 7K400 Model Name HDS724040KLSA80 Disk Capacity 400.1GB Current/Supported SATA Mode SATA150


Hardware del generico client

• Le caratteristiche hardware salienti del generico host utilizzato sono le seguenti:

CPU• Da Pentium III 1,2 GHz

fino a Pentium IV 3 GHz (tutti dual processor)

RAM • Da 1GB a 2GB

Schede di rete 100Mbit


Test realizzati• Usando bench, abbiamo registrato 10 file di 10GB l'uno su

dCache, usando un buffer di trasferimento di 2MB

• Abbiamo successivamente lanciato un'istanza di bench per nodo (stavolta in lettura), usando rispettivamente 4, 7, 10, 12 nodi in lettura.

• Ciascun nodo leggeva, in ordine casuale, i 10 file di test su dCache, contemporaneamente alle altre istanze.

• Il test con 10 nodi è quasi riuscito a saturare la banda sulla scheda di rete del server dCache (1Gb/s=125MB/s); per un numero di nodi in lettura maggiore di 10, l'hardware del server ha cominciato a manifestare i suoi limiti intrinseci.


4 accessi contemporanei

• pccms17.cmsfarm1.ba.infn.it


• testcms1.ba.infn.it


INIZIO ore 16:54

Velocita' media per trasferimento di un singolo file: 11,23 MB/s







• pccms23.ba.infn.it



INIZIO ore 17:12













• cofin2003.ba.infn.it

INIZIO ore 8:37













• cofin2003.ba.infn.it


• gridba1.ba.infn.it

INIZIO ore 8:58



Risultato complessivo

11,23 MB/s

10,43 MB/s

11,04 MB/s

9,07 MB/s

egee is a project funded by the european union under contract ist-2003-508833 test di performance su...

Documents