Download - P-GRADE Portal ı
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Peter Kacsuk’un sunumundan alıntılarla
P-GRADE Portalı
Cevat ŞenerBilgisayar Mühendisliği Bölümü,
Orta Doğu Teknik ÜniversitesiAnkara, Türkiye
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
İçerik
P-GRADE Portalının geliştirilme nedeniKısaca P-GRADE Portalı Portalda uygulama geliştirmePortalda uygulama çalıştırmaPortalda parametre çalışma eklentisi
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Genel Durum
Temel grid servisleri:AA, iş gönderme, bilgi alma, …
Üst seviye grid servisleri (aracı,…)
Uygulama araçları, standartları
Uygulama
Grid ortakatmanıKomut satırı araçları
P-GRADE PortalıKullanıcı arayüzleri
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Grid Hesaplamanın Şimdiki Durumu ve Geleceği
Grid sistemleri ve ortkatmanının hızlı gelişimi: GT2, OGSA, GT3 (OGSI), GT4 (WSRF), LCG-2, gLite, …
Birçok grid sistemleri bunlarla üretildi: EGEE (LCG-2 gLite), UK NGS (GT2), Open Science Grid (GT2
GT4), NorduGrid (~GT2)Aynı temel servisler her yerde kullanılabilir olmasına rağmen, farklı yollarda geliştirildi Veri servisleri Hesaplama servisleri Güvenlik servisleri (single sign-on) Aracılar
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Kısaca P-GRADE Portalı
Genel kullanımlı, iş akışı tabanlı Grid portalıİş akışına dayanan grid uygulamalarının geliştirilmesini ve çalıştırılmasını sağlarGridSphere-2’ye dayalı Yeni portletler kolaylıkla eklenebilir Kullanıcı ihtiyaçlarına göre uyarlanabilir
Grid sistemlerindeki birlikte çalışabilirlik sorununu iş akışı seviyesinde çözer
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
İlgili Projeler
Portalın geliştirilme ve eğitim çalışmaları çeşitli projeler tarafından yürütülmektedir:
SEE-GRID www.see-grid.eu Geliştirme ve uygulama desteği
Coregrid www.coregrid.netAraştırma, geliştirme
EGEE www.eu-egee.orgLCG ve gLite eğitimleri, uygulama geliştirme
ICEAGE www.iceage-eu.orgGrid eğitimleri
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
P-GRADE Portalında iş akışı nedir?
Yönlendirilmiş, çevrimsiz çizge (directed acyclic graph, DAG) Düğümler, program işlerini Kapılar, işlerin istediği ya da
ürettiği girdi/çıktı dosyalarını Düğümleri birbirine bağlayan
kenarlar, dosya transfer işlemlerini temsil eder.
İş akışının anlamı: Eğer bütün girdi dosyaları
hazırsa o iş çalıştırılabilir.
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
İş Akışlarında İki Seviyeli Paralellik
P-GRADE portalındaki iş akışı kavramı, karmaşık problemlerin etkili bir şekilde paralelleştirilmesini sağlar
İş akışları iki seviyede paralellik sağlar :
– İş akışlarının düğümleri arasındaki paralellik
Birden fazla iş paralel olarak
çalışabilir
– İş akışlarının düğümleri içindeki paralellik
İşler paralel bir programdan
oluşabilir
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
25 x
10 x25 x 5 x
Tehlikeli hava koşullarının (fırtına, sis) tahmin edilebilmesi can ve mal güvenliği için oldukca önemlidir
İşlenecek bilgi: yüzey seviyesi, yükseklik ölçümleri, radar, uydu, aydınlanma, önceki hesaplamaların sonuçları
Gereksinimler:•Hesaplama zamanı < 10 dk•Yüksek çözünürlük (1km)
Kısa Menzilli Hava Tahmini (Macaristan Meteoroloji Servisi)
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Tipik Kullanıcı Senaryosu(Geliştirme Aşaması)
Sertifika sunucusu
Portal sunucusu
Gridservisleri
Editörü başlatma
İş akışı oluşturma, iş akışı üzerinde
değişiklik yapma
İş akışını kaydetme
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
İş Akışı Geliştirme(İş Akışı Editörünü Açma)
Editör, bir Java Webstart uygulamasıdır.
İndirip kurulması, sadece bir “tık” ile!
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
İş Akışı Editörü(Grafik Tanımlama)
Toplu işlerden yönlü, çevirimsiz bir grafik oluşturma amaçlanır:1. Sürükle-bırak
birleşenleri:işler ve kapılar
2. Özelliklerinin tanımlanması
3. Kapıların bağlanması(çevirim, döngü veya koşul eklenemez)
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Otomatik Kaynak Seçimi
• İş için aracı bir Grid/VO seçin(ör. trgridb)
• İşin belli gereksinimleri varsa bunları JDLde tanımlayın.
İş akışı editörünün kendi JDL editörü vardır.• İş için en iyi kaynağı bulmak için portal aracıyı
kullanacaktır.
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Lokal ve Uzaktaki dosyalar
Portalsunucusu
Gridservisleri
Hesaplama elemanları
Depolama elemenları
UZAK GİRDİ DOSYALARI
UZAK ÇIKTI DOSYALARI
LOKAL GİRDİ DOSYALARI ve YÜRÜTÜLÜR DOSYALAR
LOKAL ÇIKTI
DOSYALARI
LOKAL GİRDİ DOSYALARI veYÜRÜTÜLÜR DOSYALAR
LOKAL ÇIKTI
DOSYALARI
Sadece kalıcı dosyalar!
İşiniz depolama dosyalarına doğrudan ulaşabilir.
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
İş Akışı Editörü(İş Akışını Kaydetme)
İş akışı tanımlandı!
Şimdi çalıştırılabilir!
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Sertifika sunucusu
Portalsunucusu
Gridservisleri
PROXY SERTİFİKASININ İNDİRİLMESİ
Tipik Kullanıcı Senaryosu(Çalıştırma Aşaması –1. adım)
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Sertifika Yöneticisi(Sertifika Portleti)
• GSI tabanlı gridlere ulaşabilmek için portal sunucusu proxy sertifikasına ihtiyaç duyar
• “Sertifikalar” portleti:
•X.509 sertifikalarının MyProxy sunucularına yüklenmesi
• kısa zamanlı proxy sertifikalarının portal sunucusuna indirilmesi
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Sertifika Yöneticisi(Proxy Sertifikalarının Taranması)
Portal sunucusunda aynı anda birden fazla proxy sertifikası bulunabilir!
SEE-GRID CE ve SEleriHUNGRID CE ve SEleri
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Sertifika sunucusu
Portalsunucusu
Gridservisleri
DOSYALARIN TRANSFERİ, İŞLERİN GÖNDERİLMESİ
Tipik Kullanıcı Senaryosu(Çalıştırma Aşaması –2. adım)
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
İş Akışı Yönetimi(İş Akışı Portleti)
• Bu portlette, “Workflow” listesinde iş akışlarının durumu, boyutu ve biten işlerin çıktıları gösterilir.
• Kullanıcıların portal sunucusundaki depolama alanlarını kontrol edebilmek için, kota yöneticisi bulunmaktadır.
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
İş Akışı Çalıştırma(İş Akışı Portletinden İşlerin Durumunu İzleme)
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
İş Akışı Çalıştırma(İş Akışı Portletinden İşlerin Durumunu İzleme)
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
İş Akışı Çalıştırma(İş Akışı Portletinden İşlerin Durumunu İzleme)
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
İş Akışı Çalıştırma(İş Akışı Portletinden İşlerin Durumunu İzleme)
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
İş Akışı Çalıştırma(İş Akışı Portletinden İşlerin Durumunu İzleme)
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Sertifika sunucusu
Portalsunucusu
Gridservisleri
İŞLERİ GÖZLEMLEME ve
İŞ AKIŞI İLERLEMESİ
İŞLERİ İZLEME
Tipik Kullanıcı Senaryosu(Çalıştırma Aşaması –3. adım)
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
- İş akışının ilerleyişi portaldan takip edilip gözlenebilir.
İş Akışı ve İş Seviyesinde Gözleme
(İş Akışı Portleti)
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
İş Akışı ve İş Seviyesinde Gözlemleme (İş Akışı Portleti)
- Paralel işlerin ilerleyişi de portaldan takip edilip gözlenebilir.(Eger Mercury monitor için hazırlanmışsa)
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
İş akışı çalıştırılırken bir işte hata oluştu
Hata sebebini log dosyasından
öğrenin
Başarısız Olan İş Akışının Kurtarılması1. Adım
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Hatalı işi başka bir CEye
yönlendirin, ya da yeni bir proxy
sertifikası indirin.
Biten işlerde düzeltme
yapmanıza gerek yok!
İş akışının çalıştırılması hata alınan
noktadan devam edebilir!
Başarısız Olan İş Akışının Kurtarılması2. Adım
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Sertifika sunucusu
Portalsunucusu
Gridservisleri
SONUÇLARIN İNDİRİLMESİ
SONUÇLARIN İNDİRİLMESİ
Tipik Kullanıcı Senaryosu(Çalıştırma Aşaması – 4. Adım)
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Sonuçların İndirilmesi...
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Parametre Çalışma Eklentisi
Kullanıcılar iş akışı seviyesinde parametre çalışması desteğine ihtiyaç duymaktadır.Parametre çalışması: Eger kullanıcının varolan, hazır bir iş akışı varsa
kullanıcılar bu iş akışını Tekrar çalıştırmak (değişiklik yapmadan) Farklı parametrelerle çalıştırmak
ihtiyacı duymaktadır.
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
İşler paralel bir programdan
oluşabilir
– İş akışlarının düğümleri içindeki paralellik(SIMD/MIMD/MISD)
– İş akışlarının düğümleri arasındaki paralellik(SIMD/MIMD/MISD)
Birden fazla iş paralel olarak
çalışabilir
– İş akışına parametre çalışması eklentisi(SIMD)
Aynı iş akışının birden fazla kopyası farklı veri dosyalarıyla işlem yapabilir.
İş Akışlarında Üç Seviyeli Paralellik
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Parametre Çalışması İş Akışı Çalıştırılması
PÇ kapısı: girdi dosyasının 4
kopyası
PÇ kapısı: girdi
dosyasının 3 kopyası
1 PS iş akışı çalıştırılması
=
4 x 3 normal iş akışı çalıştırılması
Böylece 3. seviyede paralellik sağlanarak, çok fazla Grid kaynağına ihtiyaç duyulmaktadır.
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Sonuçlar
P-GRADE Portalı gridler arasındaki farklılıkları ve karmaşıklıkları saklar
Globus X – LCG2 – gLite iş akışı seviyesinde birlikte çalışılabilirliği Grid teknolojileri arasındaki geçişler son kullanıcıdan saklanır Çeşitli bileşenlerden oluşan büyük Grid uygulamaları geliştirilebilir
– Sıralı kodlar– MPI kodları– Eski kodları (Legacy codes)
Kodlarda gride özel konutların bulunmasına gerek kalmaz Uygulama geliştirme, çalıştırma ve izlemek için grafiksel
araçlar kullanılır Ortak takım çalışmalarını destekler
İş akışlarının paylaşılması İşlerin paylaşılması
Standart portlet APIsiyle geliştirilmiştir özel uygulama alanlarına, kullanıcı gruplarına göre ayarlanabilir.
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA
Teşekkürler!
[email protected]/servisler/pgrade
www.lpds.sztaki.hu/pgportal