yüksek başarımlı bilgi İşlem kaynakları

24
Yüksek Başarımlı Bilgi İşlem Kaynakları Akademik Bilişim Gaziantep Üniversitesi, Şubat 2005 Burcu Akcan – Kürşad Yusuf Konuş - Onur Temizsoylu TÜBİTAK ULAKBİM

Upload: junius

Post on 15-Jan-2016

56 views

Category:

Documents


0 download

DESCRIPTION

Akademik Bilişim Gaziantep Üniversitesi, Şubat 2005. Yüksek Başarımlı Bilgi İşlem Kaynakları. Burcu Akcan – Kürşad Yusuf Konuş - Onur Temizsoyl u TÜBİTAK ULAKBİM. Yüksek Başarımlı Bilgi İşlem Kaynakları. İÇERİK. - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek BaşarımlıBilgi İşlem Kaynakları

Akademik BilişimGaziantep Üniversitesi, Şubat 2005

Burcu Akcan – Kürşad Yusuf Konuş - Onur Temizsoylu

TÜBİTAK ULAKBİM

Page 2: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

TÜBİTAK ULAKBİM Yüksek Başarımlı Bilgi İşlem Merkezi tanıtımı ve 2004 senesi değerlendirilmesi

Türkiye’de yüksek performanslı hesaplama kaynakları

Akademik “grid” yapıları

SEE Grid Projesi

Ulusal araştırma “Grid” yapısı

İhtiyaçlar, engeller

İÇERİK

Page 3: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

TÜBİTAK ULAKBİM Yüksek Başarımlı Bilgi İşlem Merkezi kurulurken, ortak kullanım, profesyonel teknik destek verebilecek personelin tek bir noktada bulundurulması, yazılım lisanslarının tek bir sistem için alınması gibi ekonomik avantajları dışında benzer konularda çalışan araştırmacıların bir araya gelmesi de planlanmıştır.

Türkiye’de bu merkezden yararlanmak isteyebilecek araştırmacıları tespit etmek, kurulması planlanan merkezde hizmet verecek paralel küme bilgisayarın donanım ve yazılım gereksinimlerini belirlemek için 2002 yılı sonunda TÜBİTAK tarafından üniversitelere anket niteliğinde bir form gönderilmiştir.

TÜBİTAK tarafından yapılan anket sonucunda ortaya çıkan ciddi talebi karşılamak için 2003 senesi başlarında TÜBİTAK ULAKBİM’de Yüksek Başarımlı Bilgi İşlem Merkezi için çalışma başlatılmıştır.

Fiyat/performans, garanti dışı bakım maliyetleri, ilerleyen senelerde uç bilgisayarların rahatlıkla masaüstü bilgisayar olarak kullanabileceği gibi avantajları yüzünden marka bağımsız 128 İşlemcili Linux küme bilgisayarı kurulması düşünülmüştür.

2003 Kasım ayında hizmet vermeye başlayan küme bilgisayarın klima, kablolama, anahtarlama cihazı gibi tüm altyapılar dahil maliyeti yaklaşık 180.000$ olmuştur.

Sistemin HPL (“High Performance Linpack”) ile ölçülen performansı yaklaşık 203 Gflop/s değerindedir.

Linux Küme bilgisayar sistemine Deniz adı verilmiştir.

TÜBİTAK ULAKBİM Yüksek Başarımlı Bilgi İşlem Merkezi

Page 4: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

Page 5: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

Linux Küme bilgisayar sisteminde:

Paralel programlamların derlenmesi ve çalıştırılabilmesi için kullanılan PVM, LAM-MPI, MPICH ve MPICH2 yazılımları Intel ve Gnu derleyiciler ile ayrı ayrı derlenerek sisteme yüklenmiş, kullanıcıların performans tercihlerine göre istediklerini kullanabilmeleri sağlanmıştır.

Sun Grid Engine kullanılarak kullanıcıların işlerinin dengeli dağıtılması sağlanmıştır.

Kullanıcıların sistemde olmasını istedikleri serbest yazılımlar (Gamess gibi) ve/veya kütüphaneler tarafımızdan yüklenmiş, lisans gerektiren programların (Abinip, Gaussian gibi) kullanıcıların kendi dizinlerine kendi aldıkları lisansla yüklenmesine olanak verilmiştir.

Küme bilgisayar sistemi ve merkez için bir kullanıcı politikası dökümanı oluşturulmuştur.

Page 6: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

Merkez ilk senesinde:

Türkiye’de paralel hesaplama, dağıtık hesaplama, grid teknolojileri gibi konularda çalışan araştırmacıları ortak bir noktada toplamıştır.

Kurulmasında esas hedeflerden biri olan uluslarası rekabetçi araştırmalar, yayınlar yapılmasına destek olmuştur.

Konusunda uluslararası projelere katılım için gerekli altyapıyı sağlamıştır.

Merkezin 2005 yılı hedefleri arasında:

UlakNet üzerindeki benzer Yüksek Performanslı Hesaplama Kaynakları ile ulusal akademik “grid” yapısının kurulumuna katkıda bulunmak,

Hizmet kalitesini düşürmemek için hesaplama kaynaklarını (işlemci, RAM gibi) arttırmak,

Edinilen tecrübeyi, bütün dünyada yüksek performanslı hesaplama eğilimi haline gelen küme bilgisayar sistemlerinin üniversitelerimizde ve araştırma kurumlarımızda kurulmasını sağlamak,

vardır.

Page 7: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

Kullanıcılarımız, Proje Ortaklarımız

Prof. Dr. Viktorya AviyenteBoğaziçi Üniversitesi

Kimya Bölümü

Yrd. Doç. Dr. Ceyhun BulutayBilkent Üniversitesi

Fizik Bölümü

Prof. Dr. Cevdet AykanatBilkent Üniversitesi

Bilgisayar Mühendisliği

Yrd. Doç. Dr. Cevat ŞenerOrta Doğu Teknik Üniversitesi

Bilgisayar Mühendisliği

Yrd. Doç. Dr. Erol ŞahinOrta Doğu Teknik Üniversitesi

Bilgisayar Mühendisliği

Yrd. Doç. Dr. Oğuz GülserenBilkent Üniversitesi

Fizik Bölümü

Prof. Dr. Salim ÇıracıBilkent Üniversitesi

Fizik Bölümü

Yrd. Doç. Dr. Sami Sözüerİzmir Yüksek Teknoloji

EnstitüsüFizik Bölümü

Doç. Dr. Can ÖzturanBoğaziçi Üniversitesi

Bilgisayar Mühendisliği

Prof. Dr. Nevin SelçukOrta Doğu Teknik Üniversitesi

Kimya Mühendisliği

Doç. Dr. Nejat BulutKoç Üniversitesi

Fizik Bölümü(Tohoku Üniversitesi – Japonya)

Page 8: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

Bilkent Üniversitesi Bilgisayar Mühendisliği Bölümü Paralel ve Dağıtık Hesaplama Araştırma Grubu

Prof. Dr. Cevdet Aykanat ve grubu merkezimizde paralel-veri web örümceği, hiper çizge bölümleme konularında çalışmaktadır.

Grup, son on sene içerisinde üç tip dağıtık hafızalı paralel sistemde araştırma ve geliştirme yapmıştır.

Türkiye’nin ilk Linux küme bilgisayar sistemlerinden birisini halen kullanan grup, 48 işlemcili yeni bir küme bilgisayar sistemini kurmaktadır.

Yeni sistem ile merkezimizin küme bilgisayar sistemi, gigabit ethernet ile birleştirilecek her iki sistemde UlakNet omurgasına gigabit ethernet ile ulaşacaktır.

Grubun Deniz sistemini de kullandığı makalesi “IEEE Transactions on Parallel and Distributed Systems” dergisinde yayınlanacaktır.

Page 9: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

Bilkent Üniversitesi Fizik BölümüNanobilim Grubu

Prof. Dr. Salim Çıracı ve grubu, karbon nanotüpler, silikon, karbon ve metal elementlerinden oluşan atom tellerinin fiziksel özelliklerinin bilgisayar simulasyonları yardımıyla incelenmesi için Deniz sistemini aktif olarak kullanmaktadır.

Grubun merkezimizde hesaplamalarını gerçekleştirdiği “Physical Review B”, “Physical Review Letters”, “Applied Physics Letters” dergilerinde yayınlanmış ve yayınlanacak altı yayını vardır.

Grup ayda ortalama 600’den fazla iş göndermektedir. Toplam işlemci çalışma zamanı on seneden fazladır.

Galium nanotel enerji bandı hesaplamaları

Page 10: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

Koç Üniversitesi Fizik Bölümü Doç. Dr. Nejat Bulut

Doç. Dr. Nejat Bulut Linux küme bilgisayarda 2003 Aralık ayından beri çalışmaktadır. Çalışmalarında Hubbard modelinde süperiletkenlik olup olmadığını araştırmaktadır.

PVM kullanarak Koç Üniversitesi’ndeki 8 işlemcili Linux küme bilgisayar sistemi ile geliştirdiği kodu Deniz sisteminin ilk aylarında aynı anda 80’den fazla işlemcide çalışmıştır.

“Journal of Physics and Chemistry of Solids” ve “Physical Review B” dergilerinde yayınlanması için sunduğu, hesaplamalarını merkezimizde yaptığı makaleleri alanında merkezin hedeflediği rekabetçi çalışmalara örnektir.

Page 11: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

Boğaziçi Üniversitesi Kimya BölümüHesaplamalı Kimya Araştırma Grubu

Prof. Dr. Viktorya Aviyente ve grubu ile 2004 Ağustos ayında çalışılmaya başlanmıştır.

Gaussian programını kullanan grup çalışanları, altı ay içerisinde sistemde 500’den fazla iş çalıştırmıştır.

Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği Bölümü Kovan Araştırma Laboratuvarı

Kovan Araştırma Laboratuarı, doğadan esinlenmiş akıllı sistemlerin sentezini çalışmak için kurulmuştur.

Grup, ”Paralel genetik algoritmayla robot kontrol programı evrimleştirilmesi ve robot simülasyonu” konulu projesi ile Deniz sisteminde çalışmaktadır.

KOVAN tarafından geliştirilen PES (Paralel Evrim Sistemi) yazılımı başarım ölçümlerini bir dizi bilgisayara dağıtabilmektedir.

PES, TÜBİTAK ULAKBİM'deki küme bilgisayar sistemine kurulmuş ve çalışmalarında 100 kata yakın (tek bir PC'de 3-4 gün süren deneyler, sistem üzerinde 1-2 saate inmiştir) bir hızlandırma sağlamıştır.

Page 12: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

Merkezimizin Diğer Kullanıcıları

ODTÜ Kimya Mühendisliği’nden Prof. Dr. Nevin Selçuk ve grubu, “Türbülanslı akışkanların doğrudan sayısal simülasyonu”,

İzmir Yüksek Teknoloji Enstitüsü’nden Yrd. Doç. Dr. Sami Sözüer, “Fotonik kristal optik fiberler”,

İzmir Yüksek Teknoloji Enstitüsü’nden Yrd. Doç. Dr. Gürcan Aral, “Paralel Moleküler Dinamik yöntemi kullanarak Alüminyum metalinin değişik oksijen molekül yogunluğu ile bu metalin (Al) oksitlenmesini kinetik ve yapısal olarak incelenmesi”,

ODTÜ Bilgisayar Mühendisliği’nden Yrd. Doç. Dr. Cevat Şener, Macaristan ile ortak “P-Grade yazılımının yük dengeleme modülünün geliştirilmesi”,

Niğde Üniversitesi Fizik Bölümü’nden Yrd. Doç. Dr. Orhan Dönmez, “Einstein ve Relativistik Hidrodinamik Denklemlerin sayısal çözümü”,

Mustafa Kemal Üniversitesi İnşaat Mühendisliği’nden M. Cemal Genes, “Akışkan-Yapı Etkileşimi, Yapı-Zemin Etkileşimi”,

Hacettepe Üniversitesi Fizik Mühendisliği’nden Recep Eryiğit “Yarı-iletken malzemelerin band yapılarının hesaplanması”,

Bilkent Üniversitesi Fizik Bölümü’nden Yrd. Doç. Dr. Ceyhun Bulutay, “Silisyum ve Germanyum nano-örgulerin optoelektronik özellikleri için temel ilkelere dayalı hesaplanması”,

konularında çalışmaktadırlar.

Page 13: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

Üniversitelerimiz ve araştırma kurumlarımızın bünyesinde birçok yüksek başarımlı sistem vardır. Örnekler:

İstanbul Teknik Üniversitesi Bilişim Enstitüsü İleri Mühendislik Teknolojileri Mükemmeliyet Merkezi:

32 İşlemci ve 64 Gbyte belleğe sahip Sun Fire 12K sistemi,

24 İşlemci ve 48 Gbyte belleğe sahip Sun Cluster

Bilkent Üniversitesi Bilgisayar Mühendisliği Bölümü:

32 İşlemcili Intel PIII Linux küme bilgisayar sistemi (Borg)

48 İşlemcili Intel PIV Linux küme bilgisayar sistemi

Boğaziçi Üniversitesi Bilgisayar Mühendisliği Bölümü:

32 İşlemcili Intel PII, PIII Linux küme bilgisayar sistemi (ASMA)

Orta Doğu Teknik Üniversitesi Bilgi İşlemi:

9 İşlemcili Intel PIII Linux küme bilgisayar sistemi (Magellan)

Orta Doğu Teknik Üniversitesi Havacılık Mühendisliği:

20 İşlemcili Intel PIII Linux küme bilgisayar sistemi

Koç Üniversitesi Mühendislik Fakültesi

32 İşlemcili Intel PIV Linux küme bilgisayar sistemi

Gebze Yüksek Teknoloji Enstitüsü

8 İşlemcili Intel PIII Linux küme bilgisayar sistemi

Page 14: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

Küme bilgisayar sistemleri yüksek başarımlı hesaplamada son beş senenin trendidir.

Çoğu üniversitelerimiz, şu an fiyat/performans olarak en uygun hesaplama sistemi olarak küme bilgisayarları tercih etmiştir.

Birçok araştırmacımız, açık kaynak kodlu işletim sistemleri üzerinde PVM, MPI kütüphaneleri kullanarak kendi programlarını geliştirmişlerdir.

Yüksek performanslı hesaplama kaynaklarına sahip olmak kolaydır. Esas ihtiyaç olan uygun programlardır. Rekabetçi ve bölgeye uygun içeride geliştirilmiş yazılımlar bir gerektir.

Page 15: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

* Sputnik

1960 1970 1975 1980 1985 1990 1995 2000

* ARPANET

* Email

* Ethernet

* TCP/IP

* IETF

* Internet Era * WWW Era

* Mosaic

* XML

* PC Clusters

* Crays * MPPs

* Mainframes

* HTML

* W3C

* P2P

* Grids

* XEROX PARC wormCO

MP

UTIN

GN

ETW

OR

KIN

G

* Web Services

* Minicomputers

* PCs

* WS Clusters

* PDAs* Workstations

* HTC

Ağ ve bilgisayar teknolojileri evrimi

Page 16: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

2100

2100 2100 2100 2100

2100 2100 2100 2100

Masaüstü SMP veya Süper Bilgisayarlar

Lokal Küme

Bilgisayar

Global Grid EvrenselGrid!

Kampüs Dağıtık Küme Bilgisayar/Gri

d

?

Page 17: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

“Grid” Nedir?

Rajkumar Buyya’nın tanımı ile:

Grid, coğrafi olarak dağıtılmış bağımsız kaynakların çalışma anında dinamik olarak uygunluğuna, kapasitesine, performansına ve kullanıcının servis kalitesi ihtiyaçlarına göre paylaşılmasını, seçilmesini ve birleştirilmesini sağlayan paralel ve dağıtık sistem çeşididir.

Küme bilgisayarlar ve “Grid” yapıları kaynakların yönetimi konusunda ayrılırlar:

Küme bilgisayarlarda bütün kaynaklar tek bir merkezi kaynak yöneticisi (“Resource Manager”) tarafından yönetilirler. Bütün kaynaklar, tek ve bütün bir sistem oluşturmak için birlikte çalışırlar.

“Grid” yapılarında her bir kaynak grubunun kendi kaynak yöneticisi vardır ve tek bir sistem görünümü vermek amaç değildir. Kaynaklar birden fazla birime, kuruma, ülkeye, gezegene (!) dağıtılabilir.

Örneklemek gerekirse:

Lokal bir küme bilgisayara kurulmuş “Sun Grid Engine” yazılımı, güçlü ve kaliteli bir grid kaynağı olarak gözükse de bütün kullanıcı istekleri, sistem kaynakları üzerinde merkezi kontrola sahip olduğu için “Grid” değildir.

WWW coğarfi olarak dağıtık, bağımsız kaynaklara genel amaçlı protokollerle bağlanılmayı sağlasa da henüz bu kaynakların koordineli ve kaliteli kullanımına izin vermediği için bir “Grid” sayılamaz.

Page 18: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

Akademik Dünyada “Grid” Projeleri - TeraGrid

Teragrid, NSF önderliğinde kurulan 20 Teraflop hesaplama gücüne sahip bütün ülke çapında 40Gbps bir omurga ile yayılan 100 Milyon $ üstü bir bütçeye sahip projedir.

Page 19: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

Akademik Dünyada “Grid” Projeleri - EGEE

EGEE (“Enabling Grids for E-Science in Europe”) projesi 30 Milyon Euro bütçesi Avrupa Birliğinden gelen, 27 ülkeden uzmanları bir araya getirerek akademik ve ticari dünyadan araştırmacıların büyük hesaplama kaynaklarına coğrafi yerlerinden bağımsız ulaşmasını amaçlamaktadır.

• Toplam dört senelik bir programın ilk iki senelik etabı olarak 1 Nisan 2004 tarihinde başlayan proje başlangıçta iki pilot disiplin seçmiştir:

•Senede petabytelarca gerçek ve simülasyon verisinin işleneceği parçacık fiziği projesi (LHC),

•Gen veri madenciliği, hastane tıbbi veritabanları gibi konuları içeren biyomedikal projeleri.

• İlk iki senede toplam 3000 araştırmacı ve 5 disipline ulaşmayı hedeflemektedir.

• EGEE altyapısı Avrupa Birliği araştırma ağı Geant üzerinde kurulmuştur. Datagrid, INFN Grid, Nordugrid gibi yapılardan geliştirilmiştir. Proje, global “Grid” altyapısını oluşturmak için Amerika ve Asya’daki “Grid”ler ile birlikte çalışabilirlik sunar.

Page 20: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

Page 21: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

Akademik Dünyada “Grid” Projeleri - SEE Grid

• Türkiye’nin de içinde bulunduğu SEE Grid (“South Eastern European GRid-enabled eInfrastructure Development”) projesi:

• Güney Doğu Avrupa'da Grid, eBilim ve eAltyapı alanlarında insan ağı yaratmak,

• Güney Doğu Avrupa'da Pan-Avrupa Grid çabalarına destek olmak,

• Grid geliştirme hakkında bölgedeki farkındalığını teşvik etmek,

amaçları ile başlatılmıştır. • Geant ve SEEREN tarafından sağlanan altyapılar projede kullanılacaktır.

• Bilkent Üniversitesi, Boğaziçi Üniversitesi ve İstanbul Teknik Üniversitesi TÜBİTAK liderliğinde projeye katılmışlardır.

• SEE-Grid Projesi'nde bölgesel uygulama yazılımını geliştirmekle sorumlu Türkiye'nin rolü büyüktür.

• SEE Grid 2005 Mayıs ayında başlayan bir 6. Çerçeve Program Projesidir.

Page 22: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

SEE Grid Bölgesel Uygulaması SE4SEE

• SE4SEE (“Search Engine for South-Eastern Europe”), Bilkent Üniversitesi tarafından geliştirilmektedir. Uygulama temel olarak üç safhadan oluşacaktır:

• Güney Doğu Avrupa ülkelerinin web sayfalarının “Grid” uyumlu örümcek ile taranması ve indirilmesi,

• İndirilen sayfaların kategorize edilmesi,

• Sınıflanan içerik için bir arayüz hazırlanması.

• SE4SEE yazılımının başlıca hedefi, kategori tabanlı, kullanıcı dostu bir arayüzle proje ülkelerinin web sayfalarına erişim sağlamaktır.

• Projenin son ve temel hedefi ise bölge ülkelerine ait bir bilgi tabanı hazırlayarak bilgi yayılımını ve sosyokültürel bütünleşmeyi sağlamaktır.

Page 23: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

SEE Grid Bölgesel Uygulaması SE4SEE

• Türkiye’nin de içinde bulunduğu SEE Grid (“South Eastern European GRid-enabled eInfrastructure Development”) projesi:

• Güney Doğu Avrupa'da Grid, eBilim ve eAltyapı alanlarında insan ağı yaratmak,

• Güney Doğu Avrupa'da Pan-Avrupa Grid çabalarına destek olmak,

• Grid geliştirme hakkında bölgedeki farkındalığını teşvik etmek,

amaçları ile başlatılmıştır.

Page 24: Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları

SEE Grid Test Yatağı

• Türkiye’deki “Grid” test yatağı TÜBİTAK-ULAKBİM, Bilkent Üniversitesi ve Boğaziçi Üniversitesi’ndeki bilgisayar ve ağ kaynakları ile oluşturulmuştur.