klaster i grid - srce.unizg.hr · fizika čestica velikih energija (high energy physics) - 10 pb...

Računalni klaster i GRIDRačunalni klaster i GRIDtehnologije u Srcutehnologije u Srcu

Damir ŽagarDamir ŽagarSveučilište u Zagrebu

Sveučilišni računski centar - [email protected]

Dan Srca, 29.04.2004.

Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.

SadržajSadržaj

KlasterGRIDCentar za klaster i grid tehnologijeKlasteri u SrcuSrce i projekt CRO-GRID


SuperSuper--računalaračunalavišeprocesorska SMP arhitekturadijeljena (shared) memorijaspecifičan OSvisoka cijena

200.000 $/gigaFLOPodržavanje i programska podrška

ograničeno skaliranje – vertikalno


Beowulf klasterBeowulf klasternordijski heroj koji je savladao zmaja

zmaj = skup i nedostupan mainframe ili super-računalo

koncept HPC klasterarazvijen u NASA Goddard Space Flight centru 1994. godine16 komercijalno dobavljivih računala (100 MHz Intel 486 CPU)dvostruki 10 Mbps Ethernet LAN LinuxPVM


Računalni klasterRačunalni klasterstandardno sklopovlje - skup nezavisnih, komercijalno dobavljivih (PC) računalabrza lokalna mreža (LAN)

povezuje računalaEthernet, Myrinet, Quadratics, InfiniBand, SCI

programska podrška (clusterware)koordinira izvršavanje aplikacija na klasteru i omogućava komunikaciju među programima koji se istovremeno izvršavajuomogućava koordinirani zajednički rad i istovremeno zajedničko rješavanje jednog ili više problema

neograničeno (horizontalno) skaliranje - lako proširiv da bi zadovoljio potrebe korisnikaniska cijena – 2.000 $/gigaFLOP


Vrste klasteraVrste klasteraHTC (High Throughput Computing)

ista aplikacija istovremeno na različitim računalima obrađuje različite setove podataka

HPC (High Performance Computing)ista aplikacija istovremeno na različitim računalima obrađuje isti set podataka (paralelno procesiranje)

HAC (High Availability Computing)ista aplikacija u jednom trenutku na samo jednom računalu, u slučaju ispada ili pogreške izvršavanje preuzima drugo računalo u klasteru


Klaster Klaster –– programska podrškaprogramska podrškaInstalacija i konfiguracijaJMS (Job Management System)

queueing –scheduling –monitoring –resource management –accounting and reporting –


Centar za klaster i GRIDCentar za klaster i GRIDispitivanje i razvoj klaster i grid tehnologijaponuda prikupljenih znanja i vještina te pripremljenihračunarskih resursa znanstvenoj zajednicikorisnici su hrvatski znanstvenici i informatičari koji radena istraživanju klaster i grid tehnologija ili imaju potrebeza paralelnim računanjemaktivnosti

održavanje računalnih klasteraanaliza klaster tehnologijaanaliza GRID tehnologijapovezivanje u svjetske GRID sustave


Klasteri u Srcu Klasteri u Srcu -- DgridDgridDataGrid inicijativu pokrenuo je CERN s ciljem osnivanja računarske i data-intenzivne mreže resursa za analizu i obradu velike količine podataka dobivenih od znanstvenih istraživanjaod siječnja do svibnja 2002. – prvi klaster sa 1+8 jednoprocesorskih čvorova – Dgrid – izgrađen za potrebe projekta MZT-a DataGrid(priključivanje Hrvatske CERN-ovim eksperimentima)u jesen 2002. Dgrid s novom klasterskom distribucijom Mosix služi ispitivanjima CERN-ovog projekta ALICEpočetkom 2004. – Dgrid razdvojen na Dgrid-AliEn i Dgrid-EDG(priključen CERN-ovom projektu Euro DataGRID)uspostavom DataGrid centra, koji je rezultat zajedničkog projektaMinistarstva znanosti i tehnologije i Srca, Hrvatska je postalapunopravni član Europskog DataGrid projekta


Klasteri u SrcuKlasteri u Srcu -- IsabellaIsabellaod ljeta 2002. čvorovi pojekta Dgrid tvore klaster pod imenom “Isabella” na raspolaganju akademskoj zajedniciračunalni klaster "Isabella" osnovan je kako bi omogućio hrvatskim stručnjacima sudjelovanje u vrhunskim znanstvenim projektima, ali i potaknuo ih na razvoj klastering tehnologijazajednički resurs svih znanstvenika u Hrvatskoj – omogućava korištenje značajnih računalnih resursa pri zahtjevnim obradama podataka u sklopu znanstveno-istraživačkih projekatau jesen 2002. novih 8 čvorova (dvoprocesorski Intel Pentium-III) financiranih od MZT-a – klaster Isabella postaje odvojen produkcijski klaster namjenjen samo akademskoj zajednicipočetkom 2004. godine sredstvima Srca nabavljena nova 24 dvoprocesorska servera


Isabella danasIsabella danasprodukcijski klaster

50 znanstvenika20 projekata

32 računalna nodaAcer ATOS G500 i HP ProLiant BL20p G2 blade serveri64 (32 x 2) procesora (48 × Xeon + 16 × Pentium III)56 GB RAM memorije2 TB diskovnog prostora200 GB diskovnog prostora na središnjem diskovnom prostoru Srca (SAN)

redundantni mrežni preklopnici i napajanjeRocks 3.1.0


GRIDGRID“Računalni grid je skup sklopovske i programske infrastrukture kojaomogućava pristup do vrhunskih računalnih performansi na univerzalan, pouzdan, konzistentan i jeftin način” - I. Foster; C. Kesselman - "The Grid: Blueprint for a New Computing Infrastructure", Morgan Kaufmann, San Fransisco, 1999.ako je Web servis za razmjenu podataka na Internetu, GRID jeservis koji omogućava razmjenu računalne snage i prostora zapohranu podatakaGRID je sinergija računalne i mrežne (komunikacijske) infrastrukturecilj – stvoriti od globalne mreže računala jedan zajednički računalni resurs


GRID GRID –– Zašto?Zašto?potrebe znanstvenika za računalnim resursima rastubrže nego što raste snaga pojedinih računala

računalna snaga procesora – svakih 18 mjeseciperformanse mreže (kapaciteti/brzina) – svakih 9 mjesecigustoća pohrane podataka – svakih 12 mjeseci

količina podatakafizika čestica velikih energija (High Energy Physics) - 10 PBgodišnjeslike sa satelita - 100 GB dnevno


GRID GRID –– CiljeviCiljevigotovo neograničena računalna snagagotovo neograničen prostor za pohranu podatakatrenutna pristupačnost u trenutku pojavljivanja potrebesustav koji će omogućiti:

efikasnu i sigurnu suradnjurazmjenu resursa, podataka, procedura i rezultata


GRID GRID –– Kako?Kako?umrežavanjem računala i računalnih klastera„gridware”

norme u razvojuGlobal Grid Forum (GGF)

• vodi i koordinira globalnu standardizaciju GRID-a• Open Grid Services Architecture (OGSA)

– standardna i otvorena arhitektura za izgradnju grid aplikacija– definira i zasnovana na Grid Servisima

• Open Grid Services Infrastructure (OGSI)– formalna i tehnička specifikacija Grid servisa– proširenje Web Servisa (XML, SOAP, ...)– Globus Alliance –Globus Toolkit – implementacija OGSI specifikacija

• Web Services Resouce Framework (WSRF)– evolucija OGSI prema Web Servisima


CROCRO--GRIDGRIDCRO-GRID je poliprojekt MZOiŠ-a, vođen od upravljačke grupe na čelu s prof. dr. sc. Budinom, sastavljen od STIRP-ova:

CRO-GRID Infrastruktura – vodi SrceCRO-GRID Posrednički sustavi – vodi FERCRO-GRID Aplikacije – vodi IRB

“proof-of-concept” i testbedCRO-GRID Infrastruktura (http://www.srce.hr/crogrid/)

resursi:• 13 istraživača, 3 mlada istraživača, 8 tehničara• 980.320 kn za opremu: 25 servera za 5 testnih klastera, diskovni elementi

suradne ustanove:• ETF-OS, FESB-ST, GRAD-RI/TEH-RI, IRB, SRCE


CROCRO--GRID InfrastrukturaGRID Infrastrukturaispitati i odrediti najpogodnije tehnologije povezivanja računalnih resursa u “grozdove” (cluster)izgraditi grozdove u znanstvenim i akademskim centrima, u skladusa sagledivim realnim potrebama projektapovezati grozdove u jedinstveni, unutar akademske zajednice standardni GRID-sustavodržavati računalni GRID, na način da je na raspolaganjuznanstvenoj i akademskoj zajedniciosigurati adekvatno obrazovanjeekspertnim znanjima podupirati inicijative i projekte koji podrazumijevaju uporabu grozdova i GRID-apovezati se sa sličnim međunarodnim inicijativama


CROCRO--GRID Infrastruktura GRID Infrastruktura ––šestomjesečni planšestomjesečni plan

Nabava računalne opreme – 1. do 4. mjesec 2004.Srce: analiza potreba i tržišta, provođenje javnog nadmetanja

Analiza i određivanje najpogodnijih klasterskih tehnologija, mrežnih resursa i sigurnosnih komponenata – 1. do 6. mjesec 2004.

Srce: instaliranje, konfiguriranje, generička analiza mogućnosti klastera, mrežno ispitivanje, sigurnosna analizaIRB: aplikacijska analiza mogućnosti klastera

Odluka o standardnoj klasterskoj tehnologiji/ama unutar projekta –30. 6. 2004.zahvaljujući dobroj konkretnoj suradnji Srca s CERN-om na klasterima Dgrid-AliEn i Dgrid-EDG, pokušati se uključiti u projekt EGEE – Enabling Grids for E-science in Europe


CROCRO--GRIDGRID

10Gbit/s

1Gbit/s1Gbit/s

10Gbit/s

klaster i grid - srce.unizg.hr · fizika čestica velikih energija (high energy physics) - 10 pb...

Documents