grid de calcul: tehnologia, arhitectura Şi viitorul
DESCRIPTION
1 st RENAM UC – 2007 National Research and Education Network User’s Conference 14 - 15 May, 2007. GRID DE CALCUL: TEHNOLOGIA, ARHITECTURA ŞI VIITORUL. Dr. V eaceslav Sidorenco RENAM, UTM www.renam.md www.utm.md. Evoluţie: Valul nr cinci. 21 st Century. Distributed Computing. - PowerPoint PPT PresentationTRANSCRIPT
UC2007, V.Sidorenco
GRID DE CALCUL: TEHNOLOGIA, ARHITECTURA ŞI
VIITORUL
Dr. Veaceslav Sidorenco
RENAM, UTM
www.renam.mdwww.utm.md
1st RENAM UC – 2007National Research and Education Network
User’s Conference
14 - 15 May, 2007
UC2007 V.Sidorenco 2
Evoluţie: Valul nr cinci
Mainframe InternetPC Client/ServerOperationalProductivity
PersonalProductivity
DepartmentalProductivity
Distributed
Computing
21st
Century
EnterpriseProductivity
ChannelProductivity
UC2007 V.Sidorenco 3
Principiul Grid Computing
constă în utilizarea optimizată a infrastructurii informatice eterogene prin considerarea reţelei de calculatoare cao maşină virtuală unică
UC2007 V.Sidorenco 4
Evoluţie: Distributed Computing
1985 1992 1996 2000 2006
Computing Ubiquity
DC Research
Distributed Batch QueuingNQS, DQS, Condor, … LSF Batch
Grid Research
Internet Grid Computing
JobSchedulerParallelAnalyzerMultiCluster
UNIX workstations & supercomputers
SMPs & UNIX workstations
Linux & Windows farms with commd. chips
2 Vaxen + Ethernet
System Arch Trend :
UC2007 V.Sidorenco 5
Obiectivul Grid Computing
Obiectivul principal al grid computingului este acela de a trata reţeaua mondială de sisteme de calcul drept o vastă resursă computaţională a cărei putere de calcul să fie oferită utilizatorilor, în aceeaşi manieră în care serviciile reţelei de electricitate sunt oferite clienţilor acesteia.
Gridul îşi propune să furnizeze infrastructura şi mijloacele care fac posibilă partajarea pe scară largă, sigură a resurselor, dar şi o putere de procesare impresionantă.
UC2007 V.Sidorenco 6Bit+ 2007, V.Sidorenco 6
Grid Computing: proprietăţi
•Colaborare – capacitatea de a partaja resurse în mod distribuit, acoperind transparent mai multe domenii de administrare. Colaborarea inspiră o sinergie pozitivă în relaţiile dintre utilizatori şi furnizori de servicii. Există chiar şi o concepţie aparte de grid de colaborare (Collaboration Grid).
•Agregare – gridul uneşte mulţimi de resurse individuale într-o resursă virtuală de capacitate mare. Resursele individuale putând fi unite atât static cât şi dinamic.
•Virtualizare – serviciile grid sunt dotate cu interfeţe ce ascund complexitatea internă a resurselor din substrat. Virtualizarea formează un strat abstract amplasat între clienţi şi resurse de diferite tipuri:
•Grid folosit pentru virtualizarea fluxului de lucru (workflow virtualization);
•Grid de Date folosit pentru virtualizarea datelor (Data Grid);•Grid Semantic folosit pentru virtualizarea informaţiilor.
UC2007 V.Sidorenco 7Bit+ 2007, V.Sidorenco 7
Grid Computing: proprietăţi
• Orientare spre servicii – gridul realizează concepţia arhitecturii orientate spre servicii.
• Eterogenitate – gridul tipic constă din resurse de calcul eterogene: componente hardware şi software cu diferite performanţe şi latenţe.
• Gestiune descentralizată – gridul nu are un singur punct de gestiune, realizând mecanisme de gestiune distribuită. Componentele gridului pot fi gestionate din partea mai multor entităţi.
• Standardizare şi interoperabilitate – gridul promovează standardizarea interacţiunii şi interfeţelor dintre componente şi servicii eterogene. Succesul dezvoltării tehnologiilor grid este dependent mult de gradul de standardizare în acest domeniu. Pentru gridul ştiinţific sunt specifice standarde deschise.
UC2007 V.Sidorenco 8Bit+ 2007, V.Sidorenco 8
Grid Computing: proprietăţi
•Transparenţa accesului – prin virtualizare utilizatorii accesează resursele gridului fără să apeleze la studierea detaliată a arhitecturii din substraturi şi topologiilor de reţele.
•Scalabilitate – gridul posedă mecanisme de extindere flexibilă a resurselor necesare pentru executarea unei aplicaţii cu cerinţe variabile de elemente de calcul, elemente de stocare, de număr de utilizatori etc.
•Reconfigurabilitate – gridul trebuie să fie reconfigurabil în mod dinamic: o specificaţie fundamentală stipulată în CoreGRID.
•Securitate – accesul securizat la resursele gridului este furnizat prin intermediul infrastructurii gridului securizat (Grid Security Infrastructure – GSI).
•Suportul aplicaţiilor – gridul este capabil să posede şi să execute mulţimi de aplicaţii variate. Dezvoltarea şi testarea aplicaţiilor de asemenea face parte din serviciile de suport aplicaţii grid.
UC2007 V.Sidorenco 9Bit+ 2007, V.Sidorenco 9
Grid Computing: proprietăţi
• Modelul de calcule – gridul este capabil să realizeze mai multe modele de calcule: în lot de lucrări (batch), interactive, distribuite, paralele ş.a.
• Modelul de licenţe – gridul provine din surse academice. Modelul de bază este Open Source Software, care este respectat şi de câteva companii, care activează în dezvoltarea gridului. Există şi soluţii de grid corporative cu licenţe comerciale.
• Proceduri şi politici – utilizatorii şi furnizorii (providerii) de servicii grid interacţionează în condiţiile pieţii deschise urmând regulile ei. Deja există modele de proceduri şi de politici şi în acest domeniu nou.
• Audit – toate activităţile în cadrul gridului se înregistrează şi pot fi analizate multilateral ulterior.
UC2007 V.Sidorenco 10
Principiul Grid Computing
UC2007 V.Sidorenco 11
Domenii de aplicaţie
Circa 20 applicaţii din 7 domenii se folosesc în EGEE – grid pentru e-ştiinţăHigh Energy Physics
4 LHC experiments (ALICE, ATLAS, CMS, LHCb)BaBar, CDF, DØ, ZEUS
BiomedicineBioinformatics (Drug Discovery, GPS@, Xmipp_MLrefine, etc.)Medical imaging (GATE, CDSS, gPTM3D, SiMRI 3D, etc.)
Earth Sciences Earth Observation, Solid Earth Physics, Hydrology, Climate
Computational ChemistryAstronomy
MAGICPlanck
Geo-PhysicsEGEODE
Financial SimulationE-GRID
UC2007 V.Sidorenco 12
Domenii de aplicaţie
Analiza în afaceri Proiectare Inginerească
Cercetare şi Dezvoltare
Dezvoltarea Guvernului
Optimizarea Întreprinderilor
Ajută la planificarea şi analiza rapida în domeniul de afacere.
Accelerează procesele de elaborare (design) prin folosirea partajată a puterii mari de calcule şi aplicaţiilor de profil ingineresc şi ştiinţific.
Accelerează şi îmbunătăţeşte procesele de Cercetare şi Dezvoltare prin folosirea puterii mari de calcule în cazul aplicaţiilor de profil de cercetare intensivă.
Creează infrastructuri IT de scară largă pentru dezvoltare economică şi suport de noi servicii de guvern.
Optimizează procesele de calcul şi acces la date pentru o utilizare mai bună, mai eficientă. Continuitatea afacerilor.
Servicii FinanciareDomeniul public Domeniul industrialPiaţa de Petrol & Energie
Domeniul industrial Domeniul public Domeniul industrial
Domeniul public Servicii FinanciareDomeniul public Domeniul industrial
UC2007 V.Sidorenco 13
Domenii de aplicaţie
Imaginea Universului reconstruită în cadrul resurselor TeraGrid
UC2007 V.Sidorenco 14
Domenii de aplicaţie
Search Engine for South-East Europe (SE4SEE) for Grid-aided web-crawling & data indexing.
UC2007 V.Sidorenco 15
UC2007 V.Sidorenco 16
Climate Simulation
client
server
grpc_call
Sim.Server
Vis.Server
front node - public IP - Globus - gatekeeper - jobmanager - pbs, grd, sqms - NAT
backend nodes - private IP or public IP - Globus SDK - Ninf-G Lib
Sequential Run: 8000 secExecution on Grid: 300 sec (100cpu)
UC2007 V.Sidorenco 17
Arhitectura Grid Computing
UC2007 V.Sidorenco 18
Arhitectura Grid Computing
UC2007 V.Sidorenco 19
Arhitectura Grid Computing
UC2007 V.Sidorenco 20
Structura TeraGrid
UC2007 V.Sidorenco 21
Structura EU Data Grids for High Energy Physics
UC2007 V.Sidorenco 22
Structura EU Data Grids for High Energy Physics
UC2007 V.Sidorenco 23
Proiectul UE EGEE
UC2007 V.Sidorenco 24
Principii de funcţionare
• Open Source
• Middleware
• Security
• Job brokering
• Resources management
• SOA – Services Oriented Architecture (XML, SOAP, WS)
UC2007 V.Sidorenco 25
Principii de funcţionare
Grid Service Architecture
GRAM - Grid Resource Access and Management Remote allocation, reservation, monitoring, control of compute resources
GridFTP protocol (FTP extensions)High-performance data access & transport
GRIS - Grid Resource information ServiceAccess to structure & state information
Network reservation, monitoring, controlAll integrated with GSI: authentication, authorization, policy, delegation.
UC2007 V.Sidorenco 26
Pilonii tehnicii Grid Computing
• OGSA - Open Grid Services Architecture - model arhitectural. Defineşte noţiunea de serviciu Grid. Concepe mediul grid ca o colecţie de servicii, conferind avantajele unei arhitecturi orientate pe servicii (SOA – Service Oriented Architecture).
• GGF - Global Grid Forum. Încearcă crearea unor standarde în domeniu.
• Globus Toolkit - mediu de dezvoltare a aplicaţiilor grid, resurse gratuite.
UC2007 V.Sidorenco 27
Infrastructura multistrat
Applications
Grid ServicesGRAM
GSI HBM
Nexus
I/O
Grid Fabric
LSF
Condor MPI
NQEPBS
TCP
NTLinux
UDP
Application Toolkits
DUROC globusrunMPI Nimrod/GCondor-G HPC++
GlobusView Testbed Status
GASS
Solaris DiffServ
GSI-FTPMDS
UC2007 V.Sidorenco 28
Architectura Protocolului Grid
UC2007 V.Sidorenco 29
Calculul în reţea Grid
UC2007 V.Sidorenco 30
Calculul în reţea Grid
constă în punerea în comun a puterii tuturor calculatoarelor dintr-o reţea prin distribuirea resurselor de calcul în funcţie de necesităţile fiecărui client
UC2007 V.Sidorenco 31
Calculul în reţea Grid
GRID
UC2007 V.Sidorenco 32
Calculul în reţea Grid
UC2007 V.Sidorenco 33
Principii de funcţionare
User Interface (UI)
Information Service (IS)
Computing Element (CE)Frontend NodeWorker Nodes (WN)
Storage Element (SE)
Replica Catalog (RC,RLS)
Resource Broker (RB)
UC2007 V.Sidorenco 34
Principii de funcţionare
UIJDL
Logging &Logging &Book-keepingBook-keeping
ResourceResourceBrokerBroker
Job SubmissionJob SubmissionServiceService
StorageStorageElementElement
ComputingComputingElementElement
Information Information ServiceService
Job Status
ReplicaReplicaCatalogueCatalogue
DataSets info
Author.&Authen.
Job S
ub
mit
Even
t
Job
Qu
ery
Job
Stat
us
Input “sandbox”
Input “sandbox” + Broker InfoGlobus RSL
Output “sandbox”
Output “sandbox”
Job Status
Pu
blis
h
grid
-pro
xy-in
it
Exp
and
ed J
DL
SE & CE info
UC2007 V.Sidorenco 35
Managementul infrastructurii Helpdesk, database, wiki /
UC2007 V.Sidorenco 36
Monitorizare în timp real http://gridportal.hep.ph.ic.ac.uk/rtm/
UC2007 V.Sidorenco 37
Monitorizare în timp real http://gridportal.hep.ph.ic.ac.uk/rtm/
UC2007 V.Sidorenco 38
GSI: Grid Security Infrastructure
Single sign-onvia “grid-id”
User
User Proxy
GlobusGlobusCredentialCredential
Site 1
Kerberos
GRAM Process
Process
ProcessGSI
TicketTicket
Site 2
Public Key
GRAM
GSI
CertificateCertificate
Process
Process
Process
Authenticatedinterprocess
communication
CREDENTIAL
GSSAPI:multiplelow-level
mechanisms
Mutualuser-resourceauthentication
Mappingto local ids
Assignment of credentials to“user proxies”
UC2007 V.Sidorenco 39
Tehnologia Grid de Noua Generaţie
Arhitectura Gridului de calcul de generaţia a treia NGG3 este definită ca soluţie total distribuită, scalabilă, reconfigurabilă în mod dinamic destinată aplicaţiilor ştiinţifice şi de afacere, ce oferă nu numai putere de calcul dar şi acces la informaţii şi cunoştinţe prin intermediul unei mulţimi de servicii orchestrate.
UC2007 V.Sidorenco 40
Service Oriented Knowledge Utility
Nucleul NGG3 reprezintă Utilitatrul de Cunoştinţe Orientat spre Servicii - Service Oriented Knowledge Utility (SOKU).
Concepţia SOKU se bazează pe evoluţia naturală şi convergenţa următoarelor TI:
• Web-Servicii, • Tehnologii grid, • Web semantic, • Sisteme analitice distribuite, cu auto-organizare (self-
organising).
UC2007 V.Sidorenco 41
Service Oriented Knowledge Utility
UC2007 V.Sidorenco 42
Pilonii concepţiei SOKU
• Orientare spre servicii – ce pot fi instanţiate şi asamblate în mod dinamic: structura, comportarea şi locaţia modulelor de programe se determină şi se modifică în procesul execuţiei (at run-time);
• Cunoştinţe – serviciile interpretează semantica informaţiilor pentru a facilita şi automatiza livrarea către utilizatori a serviciilor avansate, de nivel superior;
• Utilitate imediată – SOKU este un serviciu imediat utilizabil având funcţionalitatea, performanţa şi dependenţele prestabilite, axate pe necesităţile şi preferinţele utilizatorului.
UC2007 V.Sidorenco 43
… unde suntem acum?
Concepţia “Grid” ne orientează aici…
UC2007 V.Sidorenco 44
Mulţumesc pentru atenţie !
ÎntrebăriÎntrebări ? ?
Veaceslav Sidorenco
UC2007 V.Sidorenco 45