polski grid: ogólnopolska infrastruktura gridowa dla nauki

Dzień Otwarty Cyfronetu 12 listopada 2007

Pols

ki

Gri

d

Polski Grid:Ogólnopolska Infrastruktura

Gridowa dla Nauki

Jacek KitowskiInstytut Informatyki AGH-UST

ACK CYFRONET AGH

Dzień Otwarty Cyfronetu 12 listopada 2007 2

Pols

ki

Gri

d

WprowadzeniePolski Grid (PL-Grid)

Inicjatywa PL-Gridu – motywacja Infrastruktura Architektura Struktura Gridowa

Projekt PL-Grid Cele Pakiety Robocze

Przykłady wykorzystania GriduWspółpraca z Inicjatywą Europejską

Spis treści


Pols

ki

Gri

dCo to jest Grid ?

W Stanach Zjednoczonych jest to popularne określenie sieci elektrycznej

Rozległa sieć maszyn obliczeniowych i innych zasobów zarządzanych w sposób rozproszony i niezależny – szybki, niezawodny i bezpieczny system połączonych komputerów i innych

urządzeń, który umożliwia łatwy dostęp do dużych, rozproszonych mocy obliczeniowych, zasobów danych i usług, bez względu na to, gdzie te zasoby są zlokalizowane.

Po co się to robi? – Dlatego że sieć połączonych komputerów, nawet niewielkich, może zastąpić jeden

wielki (i drogi) komputer, konieczny do wykonania skomplikowanych obliczeń

Grid to nowy paradygmat usług informatycznych realizowany przez zbiory nowych technologii informatycznych – z takich sieci korzystają już fizycy, chemicy, biologowie, inżynierowie, lekarze,

przedsiębiorcy – ci, którzy dla swych obliczeń sporadycznie potrzebują setek komputerów…

Europa traktuje grid jako na nowe, bardzo przydatne narzędzie, a Unia Europejska planuje utworzenie europejskiej infrastruktury gridowej.

ACK: „Grid łączy”, Dziennik Polski Akademicki, 7.2.2007


Pols

ki

Gri

dPrzykłady

ACK: „Grid łączy”, Dziennik Polski Akademicki, 7.2.2007

Europejska Sieć Naukowa GEANT


Pols

ki

Gri

d Inicjatywa PL-Grid

European e-

Infrastructure

2000 Testbeds 2010 Utility ServiceRoutine Usage

National

International

Ewolucja rozwoju europejskiej infrastruktury gridowej w skali lat

Odpowiedź na potrzeby polskich naukowców i bieżących aktywności gridowychw Polsce, w innych krajach europejskich i na całym świecie,

podjęta przez Polskie Centra z inicjatywy Cyfronetu

SGI Grid, Progress(Clusterix, National Data Store ...)

Crossgrid, Chemomomentum, Virolab, CoreGrid, Gredia, int.eu.grid, Baltic Grid, GridLab,

Porta Optica, RINGRid, Phosphorus, EUChinaGRID, QoSCoSGrid, Intelligrid, K-WfGrid, Unicore...


Pols

ki

Gri

dInicjatywa PL-Grid


Pols

ki

Gri

dInicjatywa PL-Grid

Głównym celem inicjatywy budowy ogólnopolskiej infrastruktury gridowej jest rozwój i stworzenie w Polsce, stabilnej infrastruktury zasobów obliczeniowych i gromadzenia danych, a także podstawowych usług dla nauki - w pełni kompatybilnej i interoperabilnej z gridem europejskim i światowym.


Pols

ki

Gri

d

# Procesory, Moc obliczeniowa (GFlops) and RAM (GB)

CYFRONET ICM UW PCSS CI TASK WCSS

proc. Rpeak RAM proc. Rpeak RAM proc. Rpeak RAM proc. Rpeak RAM proc. Rpeak RAM

SMP 204 1080 368 60 664 192 224 845 328 128 768 512 136 780 264

Klastry 650 8399 1729 500 3400 1036 380 3188 1068 288 3226 2304 256 3600 768

Razem 854 9479 2097 560 4064 1228 604 4033 1396 416 3994 2816 392 4380 1032

Koniec

Roku 2007

152 5666 912 1344 50000 5376 272 13077 2792

Obecne Zasoby


Pols

ki

Gri

dPoczątkowa działalność PL-Grid

Utworzenie Konsorcjum Polskiego Gridu (PL-Grid)Porozumienie podpisane w styczniu 2007♦ Akademickie Centrum Komputerowe CYFRONET AGH w Krakowie (ACK CYFRONET AGH) – koordynator Programu PL-Grid♦ Poznańskie Centrum Superkomputerowo-Sieciowe w Poznaniu (PCSS)♦ Wrocławskie Centrum Sieciowo - Superkomputerowe we Wrocławiu (WCSS)♦ Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej w Gdańsku (TASK)♦ Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego w Warszawie (ICM)

Konsorcjum utworzone z pięciu największych polskich centrów superkomputerowo-sieciowych (założyciele)

Przygotowanie projektu PL-Grid (2008-2010, 2011-2013)

GEANT2GEANT2


Pols

ki

Gri

d Uzasadnienie i cele projektu PL-Grid

Podejście e-Science do badań naukowych Eksperymenty komputerowe Olbrzymie, rozproszone i różnorodne w strukturze

dane Narzędzia dostępu do danych, ich integracji i

przetwarzania Różnorodność dziedzin i dyscyplin:

• fizyka, astronomia, astrofizyka,

• chemia,

• biologia, bioinformatyka,

• meteorologia, klimatologia,

• medycyna,

• nauki o Ziemi,

• zaawansowane przetwarzanie tekstu,

• przetwarzanie i zarządzanie wiedzą,

• e-learning.


Pols

ki

Gri

dUzasadnienie i cele projektu PL-Grid

Wizja PL-Grid:

Umożliwienie realizacji modelu e-Science w poszczególnych dziedzinach naukowych poprzez:

Budowę infrastruktury gridowej w pełni kompatybilnej i interoperabilnej z gridem europejskim i światowym dzięki współpracy z zespołami rozwijającymi grid europejski (EGEE, DEISA, OMII, C-OMEGA, ESFRI),

Zapewnienie działania tej infrastruktury w trybie produkcyjnym, Umożliwienie działania gridów dziedzinowych, Stosowanie i propagowanie standardów w odniesieniu do usług

gridowych, Dostosowywanie PL-Gridu do wymagań użytkowników, Integrację, testowanie, składanie i instalowanie w PL-Gridzie

oprogramowania pochodzącego z wiodących projektów gridowych (polskich i zagranicznych),

Organizowanie wsparcia dla użytkowników PL-Gridu (szkolenia, helpdesk i doradztwo),

Bieżące zarządzanie.


Pols

ki

Gri

dInfrastruktura PL-Grid

Założenia

Polski Grid będzie miał wspólną bazową infrastrukturę – podobnie do rozwiązań zastosowanych w innych krajach

Dziedzinowe systemy gridowe – włącznie z usługami i narzędziami zorientowanymi na specyficzne typy aplikacji – będą konstruowane na tej infrastrukturze.


Pols

ki

Gri

dInfrastruktura PL-Grid

Dziedzinowe systemy gridowe mogą być rozwijane i utrzymywane w ramach odrębnych projektów. Takie podejście powinno umożliwić efektywne wykorzystanie dostępnych środków finansowych.

Infrastruktura gridowa (usługi gridowe)PL-Grid

Ap

lika

cja

Ap

lika

cja

Ap

lika

cja

Ap

lika

cja

Klastry Komputery dużej mocy Repozytoria danych

Krajowa sieć komputerowa PIONIER

Grid Dziedzinowy

Zaawansowane Platformy Usługowe

Grid Dziedzinowy

Grid Dziedzinowy

Grid Dziedzinowy


Pols

ki

Gri

dStruktura PL-Grid

Infrastruktura PL-Grid będzie bazą dla Gridów dziedzinowych, obejmujących usługi i narzędzia zorientowane na specyficzne typy aplikacji

Użytkownicy

Krajowa sieć

komputerowa

Warstwadostępowa/tworzeniaaplikacji

System Wirtualnych organizacji

i bezpieczeństwa

Podstawowe usługi gridowe

Usługi gridowe

LCG/gLite(EGEE)

UNICORE(DEISA)

OtherSystemy gridowe

Zasoby gridowe

Rozproszone zasoby

obliczeniowe

Portale gridowe, narzędzia programistyczne

Rozproszone repozytoria

danych


Pols

ki

Gri

dStruktura PL-Grid

Oprogramowanie PL-Gridu obejmuje:

narzędzia użytkownika, takie jak: portale, systemy zarządzania i monitorowania aplikacji, wizualizacji wyników i innych zgodnych z używanym w PL-Grid oprogramowaniem niższych warstw;

biblioteki programistyczne;

system wirtualnych organizacji: podsystemy certyfikatów i kont, system zarządzania danymi: katalogi metadanych, zarządzanie replikami, transfer plików;

system zarządzania zasobami: zarządzanie zadaniami, monitorowanie aplikacji, usług gridowych i infrastruktury, zarządzanie licencjami, zarządzanie lokalnymi zasobami.


Pols

ki

Gri

d

PLANOWANIE I ROZWÓJ INFRASTRUKTURY

SPRZĘTOWEJ

P2

Koordynacja ArchitekturaRozpowszechnianie

informacji

ZARZĄDZANIEP1

CENTRUM BEZPIECZEŃSTWA

P6

Szkolenia

WSPARCIE DLA GRIDÓW

DZIEDZINOWYCH

P5P4 ROZWÓJ OPROGRAMOWANIA

DZIEDZINOWEGO I NARZĘDZI UŻYTKOWNIKA

EGEE DEISA … .

CENTRUM OPERACYJNEP3

Projekt PL-Grid jest podzielony na kilka pakietów roboczych

Planowana realizacja celów: Projekt PL-Grid


Pols

ki

Gri

dPakiety Robocze PL-Grid

Pakiet 1 Zarządzanie (włącznie z architekturą PL-Grid i rozpowszechnianiem informacji) – koordynowany przez ACK CYFRONET AGH (Kraków) ,

Pakiet 2 Planowanie i rozwój infrastruktury sprzętowej – TASK (Gdańsk),

Pakiet 3 Centrum operacyjne – ACK CYFRONET AGH,

Pakiet 4 Rozwój oprogramowania gridowego i narzędzi użytkownika – PCSS (Poznań),

Pakiet 5 Wsparcie dla gridów dziedzinowych – ICM (Warszawa),

Pakiet 6 Centrum bezpieczeństwa – WCSS (Wrocław)


Pols

ki

Gri

dPakiety Robocze PL-Grid

Ogólne założenia funkcjonowania PL-Gridu, które będą realizowane w ramach poszczególnych pakietów:

Wsparcie dla systemów produkcyjnych EGEE i DEISA; Współpraca systemów produkcyjnych gLite i UNICORE -

symetryczna; Otwarcie na nowe systemy gridowe; Wyodrębnianie zasobów do celów badawczych; Efektywne zarządzanie zasobami (system monitorowania

oraz zarządzania zasobami); Współpraca z dostawcą sieci (PIONIER); Wspieranie adaptacji aplikacji – usługi techniczne i

adaptacyjne; Rozwój oprogramowania PL-Gridu (użytecznego dla PL-

Gridu i użytkowników).


Pols

ki

Gri

dP1 - Zarządzanie

Zadania Koordynacja Architektura PL-Grid Rozpowszechnianie informacji


Pols

ki

Gri

dP2 - Planowanie i rozwój infrastruktury

sprzętowej

Zadania: przygotowanie technicznej specyfikacji

dotyczącej sprzętu zgodnie z kierunkiem rozwoju PL-Gridu,

informowanie o możliwościach technicznych instalacji w poszczególnych ośrodkach,

koordynowanie zakupów sprzętowych, koordynacja instalacji sprzętu i „lokalnego”

oprogramowania, utrzymania zainstalowanej infrastruktury.


Pols

ki

Gri

d P3: Centrum Operacyjne PL-Grid

Zadania ustanowienie i utrzymywanie stabilnej infrastruktury gridowej produkcyjnej; dostarczanie oprogramowania systemowego; dostarczanie oprogramowania dla gridu produkcyjnego typu EGEE i DEISA zarządzanie wdrażaniem oprogramowania – certyfikacja; monitorowanie infrastruktury i usług; rozliczania z wykorzystania zasobów; pomoc techniczna dla użytkowników i administratorów.


Pols

ki

Gri

d P4: Rozwój oprogramowania

gridowego i narzędzi użytkownika

Zadania analiza wymagań użytkowników i określenie

niezbędnych narzędzi i usług w ramach PL-Grid,

analiza dostępnych narzędzi i wybór narzędzi do repozytorium;

reinżynieria oprogramowania oraz integracja z platformami w PL-Grid,

budowa repozytorium oprogramowania pośredniego oraz wspomagającego użytkowników i twórców aplikacji,

rozwój i integracja nowych narzędzi i usług.


Pols

ki

Gri

dP5 - Wsparcie dla gridów dziedzinowych

Zadania zorganizowanie trwałego i wszechstronnego

wsparcia dla użytkowników Gridu, zespołów rozwijających aplikacje i serwisy gridowe dla aplikacji, w zakresie użytkowania gridu, rozwoju aplikacji, przydziałów zasobów, współpracy gridów i VO z różnych dziedzin nauki, techniki, administracji i biznesu,

organizacja działalności szkoleniowej, dydaktycznej i upowszechniającej wiedzę w zakresie technologii przetwarzania danych na Gridzie,

opracowanie i wdrożenie procedur udostępniania oprogramowania komercyjnego na Gridzie.


Pols

ki

Gri

dP6 - Centrum bezpieczeństwa

Zadania opracowanie wymagań bezpieczeństwa dla

ośrodków PL-Gridu, opracowanie procedur reagowania na incydenty

dotyczące bezpieczeństwa, cykliczne przeprowadzanie audytu

bezpieczeństwa. utrzymywanie struktury CA/RA w Polsce dla PL-

Gridu, zapewnienie istnienia spójnego mechanizmu

autentykacji i autoryzacji w gridzie PL-Grid, pro-aktywne monitorowanie infrastruktury gridu.


Pols

ki

Gri

dPrzykłady wykorzystania Gridu

HEP – WLCGChemia obliczeniowa – Gaussian,

Turbomole .....(Charmm, Amber, DL_POLY..)

Biologia/Farmacja – białka ...MeteorologiaSystemy złożone (gry

wieloagentowe...)


Pols

ki

Gri

dInfrastruktura sieciowo-obliczeniowa

polskiego Tier2 dla WLCG


Pols

ki

Gri

dAtlas Experiment

SFISFI SFI

PFLocal Event Processing Farms

Back End Network

SFOsmassstorage

CERNCERN Computing Center

CopenhagenEdmontonKrakówManchester

PFPF

PFPF

PacketSwitchedWAN: GEANT

Switchlig

htp

at

h

PF

Enabling Grids for E-sciencE

EGEE-II INFSO-RI-031688 [email protected]

• Gaussian VO - utworzona i wspierana przez 2 Partnerów (działalność EGEE )

• Zaakceptowane przez dostawcę oprogramowania

• Rejestracja: https://voms.cyf-kr.edu.pl:8443/vo/gaussian/vomrs

GAUSSIAN w Gridzie

• Kierownik VO: Mariusz Sterzel (CYFRONET), koordynator ds.Chemii Obliczeniowej (EGEE II)

[email protected]

ACK: Tomasz Szepieniec

Enabling Grids for E-sciencE

EGEE-II INFSO-RI-031688 [email protected]

Never Born Protein Folding

ComputingElement

Euchina Virtual Organization (EGEE)

StorageElement

2. Transfer

application

User InterfacePortal

AABTDDSAD

1.Submit

sequence

3. Store protein

4. Visualize

PDB1.32 3.23 3.442.77 4.33 5.661.32 3.23 3.44

Prof. Irena Roterman (CM UJ)

i projekt EUChinagrid

ACK: Tomasz Szepieniec


Pols

ki

Gri

dWspółpraca z EGI-DS

1.ZORIENTOWANE NA INFRASTRUKTURĘ1.1.Opublikowanie nowego Middleware gridowego1.2.Dodanie nowego site’u NGI/EGI1.3.Alarm funkcjonalności na danym site’cie NGI1.4.Negocjacja zasobów dla VO2. ZORIENTOWANE NA APLIKACJE2.1.Żądanie przepustowości QoS2.2.Filtrowanie LHC na bieżąco

2.3. Aplikacja komercyjna z serwerem licencji2.4. Aplikacja rownoległa

3. ZORIENTOWANE NA UŻYTKOWNIKÓW KOŃCOWYCH3.1. Prywatnie sfinansowany sprzęt3.2. Pojedynczy użytkownik bez przynależności do VO potrzebuje użyć Gridu

Aktywne uczestnictwo w warsztatach EGI w Budapeszcie (2.10.07)

Identifikacja przypadków użycia (use-cases)


Pols

ki

Gri

dWnioski

Etap wstępny zakończony Porozumienie zostało podpisane Rada Naukowa została utworzona Zarząd został utworzony

Wniosek o finansowanie Projektu PL-Grid

polski grid: ogólnopolska infrastruktura gridowa dla nauki

Documents