TR-GRID Servisleri ve Grid Güvenliği(Küme Bilgisayar ve Grid Mimarileri)

Aslı Zenginasli@ulakbim.gov.trAnkara, Ekim 2007

Bu sunum Bob Jones’un ve Christos Filippidis’in sunumlarından

alıntılar içermektedir.

www.grid.org.tr

İÇERİK

Küme Bilgisayar Mimarisi Bileşenler Kuyruk Sistemi İş Akışı

Grid Mimarisi (gLite Ortakatman Yazılımı) Grid Katmanları Grid Servisleri Veri Yönetimi İş Yükü Yönetimi

Küme Bilgisayar ve Grid...

Küme Bilgisayar• Birbirine LAN yoluyla bağlı homojen

hesaplama kaynakları

• Paralel hesaplamaya imkan kılan paylaştırılmış dosya dizinleri

• Her ne kadar ölçeklenirliği olsa da, karşılaşılan sorunlar var:

– Isı, boyut, donanım kısıtlamaları...

• Basit mimari

• İş göndermede ve sonuç almada hızlı erişim

Grid• Coğrafi olarak dağıtık, heterojen

kaynaklar• Araştırmaların önünü açacak insan

ağının oluşturulması• Hesaplama + DEPOLAMA kaynakları• Ölçeklenirlikte kısıt yok!• Karmaşık mimari (Küme servisleri +

siteler arası ortak servisler)• Network bağlantılarının yeterince hızlı

olmaması durumunda, iş çalıştırma ya da veri depolamada yavaşlık (Ayrıca coğrafi olarak dağıtık olsun olmasın birçok servisin varlığı da etken.)

Küme Bilgisayar Bileşenleri (yazılım)

Küme Bilgisayar Bileşenleri (donanım)

Küme Bilgisayar Kuyruk Sistemi

Planlayıcı

Hesaplama Kaynakları

Kuyruk A

Kuyruk B

Kuyruk C

Kuyruk D

B

C D

A

Kuyruk Sistemi

Küme Bilgisayarlarda İş Akışı (Örnek: TR-03-METU)

Grid Mimarisi (Ortakatman)

Grid ortakatman dediğimiz uygulamalarla hesaplama ve veri depolama kaynakları arasında bir arayüz oluşturan ileri yazılım üzerine kuruludur.

Grid ortakatmanı:

uygulamaların çalışacağı

uygun yerleri bulur.

kaynak kullanımını

optimize eder.

veri yığınlarına etkin

erişim sağlar.

birçok grid sitesinde kullanılan

ortak bir kimlik doğrulama ve

yetkilendirme servisi sağlar.

işleri çalıştırır ve anlık iş durumunu

izlemenize izin verir.

işlerin sonuçlarını kullanıcılara taşır.

gLite-3.0 Ortakatman Sürümü, Tarihçe

2006 Baharıyla birlikte LCG-2.7.0 ve gLite-1.5 ortakatman yazılımları gLite-3.0 çatısı altında birleşti:

− Üretim seviyesinde altyapıda süreklilik

− Uygulamalar tarafından kullanılırlığın sağlanması

− İşyükü yönetimine yönelik yeni çalışmalar

LCG ve gLite EGEE projesi tarafından geliştirilen Grid ortakatman yazılımlarıdır ve şu an gLite-3.0 birçok proje ve altyapıda kullanılmaktadır.

gLite ortakatmanı sürekli güncellemelerle iyileştirilen açık kaynak kodlu bir yazılımdır.

LCG-2

prototyping

prototyping

product

2004

2005 product

gLite

2006 gLite 3.0

Grid Katmanları

Grid Uygulama KatmanıGrid Uygulama Katmanı

Ortak ServislerOrtak Servisler

Temel Grid ServisleriTemel Grid Servisleri

En Alt Seviye Yapı Servisleri

En Alt Seviye Yapı Servisleri

Altyapı Taşları

Grid

Uygulamalar

GLOBUSCondor(VDT)

UYGULAMALAR

ORTAKATMAN

Grid Yapıtaşları (Temel Servisler)

Gridin kaynakları

nı kullanmak istiyorum!

Doğru kaynağı nerden

bulabilirim?

İşimin sonuçların

ı depolama

k istiyorum!

Tüm bu istediklerim güvenli bir ortamda yapılmalı!

Sertifika Otoriteleri, Kimlik Doğrulama, Yetkilendirme

Kimlik Doğrulama• GSI (Grid Security

Infrastructure) ve x509 sertifikaları, Sertifika Otoriteleri (CA)– Proxy sertifikaları– MyProxy Sunucusu ve uzun süreli

proxy sertifikaları

• Kabul gören güven ağı:– International Grid Trust

Federation (IGTF)» EUGridPMA» APGridPMA» TAGPMA

• Tüm EGEE siteleri IGTF altındaki CA’lara güvenir.

Yetkilendirme• VOMS (Virtual Organization

Membership Service), sanal organizasyonlar (VO)– Kullanıcıların disiplinlere göre

gruplandırılması

– Sitelerin VO tabanlı kaynak ayırımı

• LCG-2.7.0 ortakatmanına kadar sadece grid-mapfile yapısı vardı.– Kullanıcı tabanlı yetkilendirme

• LCG-2.7.0 ve gLite ile birlikte VO eklentili proxy sertifikaları– VO tabanlı lokal yetkilendirme servisleri

TAGPMA APGridPMA

The Americas Grid PMA

European Grid PMA

EUGridPMA

Asia-Pacific

Grid PMA

Kullanıcı Arayüzü (UI)

gLite Grid altyapısına giriş kullanıcı arayüzü ile sağlanır.

Kullanıcı arayüzünde:

- Kullanıcılar kişisel hesaplara sahiptir.- Kullanıcıların sertifikaları yüklüdür.

Aşağıdaki işlemleri komut satırı arayüzü sağlar:

- Çalıştırılmak üzere iş göndermek- Bir iş için uygun kaynakları göstermek- Dosyaları kopyalamak ve replika etmek- İşleri takip etmek ve iptal etmek- Bitmiş işlerin sonuçlarını almak

Bilgi Servisleri (GRIS, GIIS, BDII)

Bilgi servisleri, grid kaynakları ve durumları hakkında bilgi verir.

gLite bilgi servisleri, LDAP tabanlıdır. LDAP bilgi modeli kullanıcı, bilgisayar gibi objeler hakkında hızlı bilgi verecek şekilde tasarlanmıştır.

IS servisleri üç ana aşamada bulunabilir:

- GRIS: CE ve SE sunucularında bulunur. Lokal bilgi verir.

- GIIS: Sitenin üstünde bulunur ve ilgili site hakkında bilgi verir.

- BDII: Üst seviye bilgi servisleri Grid altyapısının geneli hakkında bilgi verir.

GRIS, GIIS, BDII İlişkisi

SELokal GRIS

SELokal GRIS

CELokal GRIS

SELokal GRIS

CE Lokal GRIS

CELokal GRIS

CE Lokal GRIS

SELokal GRIS

CE Lokal GRIS

CESite GIIS

CESite GIIS

CESite GIIS

BDII-A BDII-B

Kullanıcılar

İş Dağıtıcısı

İzleme Servisleri

Bilgi Servisleri (RGMA)

FilePlug-in

RGMAPlug-in

BDIIPlug-in

Service Discovery

Service Discovery is a client for finding services and discovering

their basic attributes

RGMAPlug-in

Consumer

Producer

Registry

İlişkisel Veri Modeli

UI Grid

sorgu

kullanıcı

Hesaplama Elemanı (CE)

Depolama Elemanı (SE)

bilgi

API’ler: Java, Python, C++ , C

gLite Grid Servisleri

İş Yönetimi• İş Yükü Yönetimi (WMS)

– Kaynak arayıcısı (RB)

– Veri kullanan işler için DLI/SI arayüzü ile kataloglara erişim

– Toplu iş gönderimi

– İş akışına dayalı işler

• Hesaplama Elemanı (CE)

– Globus/EDG/LCG->Condor_C(Sanal

organizasyon tabanlı iş planlama)

• Loglama ve Servis Bilgilerinin Tutulması (Logging and Bookkeeping)

• Lokal Kuyruk Yöneticisi

– LSF, PBS, Condor, (Sun Grid Engine)

Veri Yönetimi• Dosya ve Replika Katalogları (LFC)

– Depolama elemanlarındaki verilere kolay erişim

– Grid dosyalarının düzenlenmesi– Merkezi veya lokal

• Depolama Elemanları (SE)– DPM (VOMS grupları/rollerine,

dosya erişim haklarının kullanılmasına izin verir.)

– Diğer SE’ler: dCache, Castor– Classic SE: artık kullanılmıyor

• Diğer Özellikler ve IO Kütüphaneleri– Lcg-utils– GFAL– gLite IO

Hesaplama Elemanı (CE)

gLite ortakatman yazılımını kullanan iki tip CE vardır: gLite-CE (yeni tip) ve lcg-CE (eski tip)

gLite yapısında hesaplama elemanı homojen hesaplama uçlarına iş gönderir.

Bütün gLite siteleri en az bir hesaplama sunucusu (CE) ve arkasında hesaplama uçları (WN) içerir.

Sitede hesaplama sunucularından biri Grid kapısı olarak çalışır:- Globus kapısıdır.- Globus GRAM (“Globus Kaynak Ayırma Yöneticisi”) sunucusudur.- Lokal kaynak yönetim sisteminin ana sunucusudur. (PBS, LSF,

Condor...)

İş Yükü Yönetimi (WMS)

Kullanıcılar grid ile iş yükü yönetim sistemi ile etkileşirler.

İş yükü yönetim sistemi, dağıtık iş planlaması ve kaynak yönetimi sağlar.

Kullanıcıların:- İşlerini gönderebilmelerini,

- İşlerini en uygun kaynaklarda çalıştırmalarını,

- Kaynakların kullanımını da aynı anda optimize etmeyi,

- İşleri hakkında bilgi almasını,

- İşlerinin sonuçlarını almasını sağlar.

İş Yükü Yönetimi (WMS)

WMS aşağıdaki parçalardan oluşur:

- İş Yükü Yöneticisi: Sistemin ana parçasıdır.- Kaynak Aracısı(RB): Bir işin ihtiyaçlarına göre en uygun kaynakları bulur.- İş Adaptörü: İş, kontrol servisine geçmeden önce ortamı ayarlar.- Kontrol Servisi: İşin gönderilmesi, silinmesi gibi yönetimsel operasyonlardan sorumludur.- Kayıt Tutma: İş hakkında bilgi tutar.

İşler iş tanımlama dili JDL (“Job Description Language”) ile tanımlanır.

WMS servisinin bir işi çalıştırabilmesi için:

- İşin karakteristiğini (basit, MPI, DAG)- Hesaplama ihtiyaçlarını ve seçeneklerini- Yazılım bağımlılıklarını bilmesi gerekir.

Gridde İş Akışı

(WMS)

UI Grid

iş

kullanıcı

SE

CE

LFC

VOMS

BDIIWMProxy API’leri: Java, Python, C++

Depolama Elemanı (SE)

gLite ortakatman yazılımını kullanan değişik tipte SE vardır: Classic SE (eski tip, artik kullanılmayacak), DPM, dCache, Castor

Depolama elemanı, büyük depolama alanlarına düzenli erişim sağlar.

Her bir gLite sitesi en az bir depolama elemanı içerir.

İki protokol kullanırlar:- Dosya transferi için GSIFTP- Dosya erişimi için RFIO (“Remote File Input/Output”)

Depolama kontrol yönetimi:- Dosyalara saydam erişim sağlar- Dosyaların durumunu gösterir- Dosyaların saklanma zamanını takip eder

Disk ve teyp kaynakları tek bir depolama elemanı olarak gösterilebilir.

Veri Yönetimi Servisleri, LFC

Veri yönetimi nedir?- Kullanıcılar ve uygulamalar veri üretirler ve veriye ihtiyaç duyarlar.- Veriler grid dosyaları şeklinde saklanabilirler.- Dizin veya veri yapılandırılması yoktur. Dosya seviyesinde bilgi tutulur.- Kullanıcı ve uygulamaların grid dosyalarını yönetebilmesi gerekir.

Kullanıcı ve uygulamalar gLite yapısında verinin yerini bilmek zorunda değildirler. Mantıksal dosya isimleri kullanabilirler. (LFC)

Gridde dosya isimlendirmeleri:Globally Unique Identifier (GUID)

“guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6”Site URL (SURL) (or Physical/Site File Name (PFN/SFN))

“sfn://lxshare0209.cern.ch/data/alice/ntuples.dat” Logical File Name (LFN)

“lfn:cms/20030203/run2/track1”Transport URL (TURL)

“gsiftp://lxshare0209.cern.ch//data/alice/ntuples.dat”

Veri Yönetimi Mimarisi

Dosya

ve replika

kataloğu

StorageIndex

LFC

Veritabanı

WMS

Depolama Elemanı

SRM

DISK

gLite I/O gridFTP

Dosya Transferi ve dosya

yerleştirme servisi FTS

FPS Transfer Agent

Veritabanı

VOMS

MyProxy

Dosya I/O

Dosya İsimalanı ve

Metaveri Yönetimi

Dosya Replikası

Proxy yenilemesi Replika Yeri

WSDL

API

Veri Yönetimi İlişkileri

GFAL

Grid file(ref: LFN)

UI (kullanıcı) Grid

dosya

File Catalog(LFC)

depola

Kataloğakaydet

SE 1

kaydet

SE 2

depolaSRM

Özet: Grid Topolojisi ve Servisler

Hesaplama Elemanı Depolama Elemanı

X Sitesi

Bilgi Sistemi (BDII, RGMA)

gönder

gönder

sorgulaSonuç al

Sonuç al

Kaynak Arayıcısı (RB)

Kullanıcı Arayüzü (UI)

Site durumunuyayınla

Dosya ve ReplikaKatalogları (LFC)

Yetkilendirme Servisi (VOMS)

sorgula

Yetkilerigüncelle