nilay sezer-uzolhavacılık ve uzay mühendisliği, makine mühendisliği ve rüzgar mühendisliği...

1. Ulusal Yüksek Başarım ve Grid Konferansı15 - 18 Nisan 2009, ODTÜ KKM, Ankara, TürkiyeTOBB-ETUTOBB-ETU

Hesaplamalı Akışkanlar Dinamiği ile Üç-Boyutlu Karmaşık Akış Problemlerinin

Yüksek Başarımlı Hesaplamaları

Nilay Sezer-Uzol

Makine Mühendisliği BölümüTOBB Ekonomi ve Teknoloji Üniversitesi

Ankara, Türkiye


Giriş

Hesaplamalı Akışkanlar Dinamiği

Paralel Hesaplama

Örnek Simülasyonlar

Sonuçlar

İçerik


Giriş

• Birçok mühendislik uygulamasında akışlar:

− KKompleompleksks geometri geometriler ler etrafındaetrafında

− Üç boyutlu (3-D)Üç boyutlu (3-D)

− Zamana göre değişen (unsteady)Zamana göre değişen (unsteady)

− Kopmalı (separated)Kopmalı (separated)

− Girdaplı (Girdaplı (vorticalvortical))

− Türbülanslı (turbulent)Türbülanslı (turbulent)

• Yüksek başarımlı paralel hesaplamalar sayesinde bu akışların Hesaplamalı Akışkanlar Dinamiği (HAD) simülasyonları mümkün olmaktadır. ApacheApache

RobinRobin

LHALHA

RotorRotor

İniş takımıİniş takımı

KüreKüre


Giriş – Türbülans Modellemesi

• Direct Numerical Simulations (DNS) Direct Numerical Simulations (DNS) − Bütün ‘scale’ ler çözümlenir

• Large Eddy Simulations (LES)Large Eddy Simulations (LES)− Sadece büyük ‘scale’ ler çözümlenir, küçükler modellenir

• Reynolds Averaged Navier Stokes (RANS)Reynolds Averaged Navier Stokes (RANS)− Bütün ‘scale’ ler modellenir

Reynolds Stress Models ( 7 additional PDEs)

2 – equation models (e.g., k-ε, k-ω)

1 – equation models (e.g.,Spalart-Almaras)

Algebraic Models (e.g., Baldwin-Lomax)

• HHiibribritt metod metodlarlar− ‘Coupled’ LES-RANS metodları (e.g., DES, FSM)

Yakın gelecekte pratikte kullanılabilir

Rutin olarak kullanılır fakat birçok akış için doğru sonuç vermez

Yüksek Reynolds sayıları için yakın gelecekte pek mümkün değil

Artan Fizik

Azalan İş


Giriş – Sayısal Hesaplama Maliyeti

• Moore Kanunu: hesaplama hızı her 18 ayda 2 katına çıkmaktadır.

• TOP500 süperbilgisayarlar:

− 70% Paralel öbek bilgisayarlar


Giriş – Sayısal Hesaplama Maliyeti

• Moore Kanunu: hesaplama hızı her 18 ayda 2 katına çıkmaktadır.

• 100 prosesör (4 GHz, 800 Mflops 2004), 10 gün, ve 1000*m*n3 operasyon kabul edilirse

DNS: n3 ~ Re2.25 & m ~ 23*n

LES : n3 ~ Re1.8

Çözülebilen en büyük Re & n3

2003: n3 = 6.9*1010 (ES’te)

2080: Re = 7*107 (bir kanat için)


Hesaplamalı Akışkanlar Dinamiği (HAD)

Ön-İşleme Hesaplama Ard-İşleme


HAD Akış Çözücü: PUMA2

PUMA2:PUMA2: Parallel Unstructured Maritime Aerodynamics-2Parallel Unstructured Maritime Aerodynamics-2

3-D3-D Paralel Paralel Zamana Göre DeğişkenZamana Göre Değişken Euler / Navier-Stokes Euler / Navier-Stokes çözücü

• Sonlu HacimSonlu Hacim formula formulasyonu (Finite Volume)syonu (Finite Volume)

• Düzensiz çözüm ağları: Düzensiz çözüm ağları: tetrahedral, wedges, pyramids and hexahedral (bricks) (Unstructured GridsUnstructured Grids)

• Yazılım dili:Yazılım dili: C / C++ C / C++ ve MPIMPI

• Runge-KuttaRunge-Kutta, Jacobi Jacobi ve çeşitli Successive Over-Relaxation (SOR)Successive Over-Relaxation (SOR) metodları, RoeRoe ve Van LeerVan Leer sayısal akı metodları

• Daimi Daimi ve Zamana bağlıZamana bağlı hesaplamalar ( (Pseudo-steady-statePseudo-steady-state (local time-stepping) & time accuratetime accurate))

• Large Eddy SimulationLarge Eddy Simulation


Navier-Stokes Denklemleri

v

V S S

QdV ( )dS ( )dS 0t

ﾶ + − =� �ﾶ� � �F n F n

1

2

3

0

u

Q u

u

e

ρ� �� ρ� �� = ρ� �� ρ� �

ρ� ��

j j

1 j j 1j

2 j j 2 jj

3 j j 3 j

0 j j j

(u - b )

u (u - b ) p

u (u - b ) p

u (u - b ) p

h (u - b ) pb

F

ρ� �� ρ + δ� �� ρ + δ= � �� ρ + δ� �

ρ +� ��

1j

2 jvj

3j

1 1j 2 2 j 3 3j j

0

(u u u ) - q

F

� �� τ� �� τ= � �� τ� �

τ + τ + τ� ��

kij ij ij

k

u2 S I

x

ﾶτ = µ + λﾶ j

j

Tq k

x

� �ﾶ= − � �� ﾶ� �

jiij

j i

uu1S

2 x x

� �ﾶﾶ= +� �� ﾶﾶ� �

e)1(p ρ−γ= 01

e e2u u= + ﾶ

ρ+= p

eh 00

Navier-Stokes denklemleri 3-D unsteady, compressible,

viscous flows with moving body


Hesaplamalı Yönlendirme Aracı: POSSE

POSSE:POSSE: Portable Object-oriented Scientific Steering EnvironmentPortable Object-oriented Scientific Steering Environment

Paralel bilgisayarlarda çalışan paralel simülasyonların gerçek zamanlı olarak izleme, yönlendirme ve görüntülenmesi

• Yazılım dili: C++ C++ (Modi et al. 2002)

• Client / ServerClient / Server yaklaşımı

Herhangi bir C/C++C/C++ simülasyon kodu ile kolaylıkla entegre edilebilir !

- Easy to use- Easy to use (hides most of the complexities)- Compact- Compact (3500 lines of code)- Fast- Fast (extensive use of templates)- Portable- Portable (Linux/HP-UX/SunOS/Windows 2000) - Multi-threaded- Multi-threaded (simultaneous multiple clients)- Lightweight- Lightweight (very low overhead)


HAD Sistemi: PUMA2 + POSSE

• POSSEPOSSE ile PUMA2PUMA2’’nin entegrasyonu

PUMA2’ye özel izleme, yönlendirme ve görüntüleme kullanıcı arayüzü (GUI)

Eş-yüzey (Iso-surface) fonksiyonu

Tecplot, Fieldview, Ensight gibi hazır yazılımlar ile kullanım

Sanal Gerçeklik sistemleri ile görüntüleme (Virtual Reality (VR) systems)

stereographics / stereo-sound


Paralel Hesaplama

• TOBB ETÜ Öbek-I: Toplam 16 işlemci - 4 adet SUN X2200 düğüm - 8 adet çift işlemci: 1.8 GHz hız ve 2 GB bellek AMD Opteron - Gigabit Ethernet bağlantısı - SUN Solaris işletim sistemi

Paralel Bilgisayarlar

• TOBB ETÜ Öbek-II: Toplam 18 işlemci - 5 adet SUN X2200 düğüm - 2 adet dört işlemci: 1.9 GHz hız ve 4 GB bellek AMD Opteron - 5 adet çift işlemci: 1.8 GHz hız ve 4 GB bellek AMD Opteron - Gigabit Ethernet bağlantısı - Linux işletim sistemi

• Tübitak Ulakbim TR-Grid sistemi


Paralel Hesaplama

Ağ Bölümleme (Grid Partitioning)

Graph Partitioning (METIS)

Gibbs-Poole-Stockmeyer Reordering (GPS)

METIS: işlemciler arasında gönderilen mesaj uzunlukları minimizeedilirken işlemcilerin komşu sayısı artırılır.

- düşük gecikme süresine (latency) sahip sistemler için uygun. GPS: daha az sayıda ama uzun mesaj gönderimi sağlanır, her işlemcinin komşu sayısı azaltılır, böylece haberleşme zamanı minimize edilir.

- Beowulf öbekleri gibi yüksek gecikme süresine sahip paralel hesaplama platformları için daha uygundur.


Rüzgar Türbini Simülasyonları

Döner kanatlar etrafındaki üç-boyutlu ve zamana göre değişken akımlar, hem rüzgar türbinlerinin hem de helikopter rotorlarının aerodinamik ve gürültü karakteristikleri açısından önemlidir.

Rüzgar türbini rotorları genellikle düzenli olmayan akışlar içerisinde çalışırlar:

Açı ile gelen rüzgar

Rotor iz bölgesi ile etkileşim

Kule iz bölgesi ile etkileşim

Ani ve şiddetli rüzgarlar

Atmosferik sınır tabaka

Atmosferik türbülans


Rüzgar Türbini Simülasyonları

Rüzgar Türbini Rotoru 2-kanatlı NREL Phase VI HAWT Rotor

S809 profili, 5.029 m yarıçap, 5° yunuslama açısı, lineer daralma ve lineer olmayan burulma, 72 rpm

Çözüm ağı: 3.6M ve 4.2M dört-yüzeyli hücre Inviscid: 6 gün - 32 işlemci (Lion-xl) LES : 1.5 / 8 gün - 64 işlemci (NCSA)


Topografya Simülasyonları

Mikro yerleştirme ile rüzgar türbinlerinin seçilen bir topografya üzerinde uygun rüzgar dağılımı olan bölgelere nasıl yerleştirileceğinin belirlenmesi oldukça önemlidir.

Hesaplama alanı: Marmara Bölgesi’nden seçilen 3 km x 3 km’lik bir alan ve yerden yüksekliği yaklaşık 1 km’dir.

Çözüm ağı: 800K dört-yüzeyli hücre sayısına sahip yapısal olmayan bir ağdır.


Küp Etrafındaki Akış Simülasyonları

Yüksek yapılar/binalar etrafındaki üç-boyutlu, komplex, kopmalı ve girdaplı akışların incelenmesi yapısal tasarım ve yüklerin belirlenmesi açısından büyük önem taşımaktadır.

Hesaplama alanı: 15L x 10L x 5L ve L = 0.3 m Çözüm ağı: 750K dört-yüzeyli hücre sayısına sahip yapısal olmayan bir ağdır. Her bir çözüm dosyası 40 MB. 1 iterasyon için 16 işlemcide 4 saniye gerekmektedir. (TOBB-ETÜ Öbek-I)


Sonuçlar

Hesaplamalı Akışkanlar Dinamiği (HAD) ile üçboyutlukarmaşık akışların yüksek başarımlı hesaplamalarıçeşitli örnek problemler ile anlatıldı.

Havacılık ve Uzay Mühendisliği, Makine Mühendisliği ve Rüzgar Mühendisliği alanında, tasarım aşamasında henüz istenilen kolaylık ve hızda olmamasına rağmen, birçok akış problemlerinin çözümü HAD ve Yüksek Başarımlı Hesaplama ile mümkün olabilmektedir.

Bu problemlerde öbek bilgisayarların kullanımı ve paralel hesaplama büyük öneme sahiptir.

Topografya Akış Simülasyonları ve Yüksek-Binalar Etrafındaki Akış Simülasyonları devam etmektedir.

nilay sezer-uzolhavacılık ve uzay mühendisliği, makine mühendisliği ve rüzgar mühendisliği...

Documents