hpc cluster & cloud computing

HPC Cluster & Cloud Computing

กิตติรักษ์ มว่งมิ่งสุข(Kittirak Moungmingsuk)

kittirak@clusterkit.co.th

Feb 9, 2010 @ NIDA

2

What's ?

E=mc2

3

Mass–energy equivalence

E : Energy (พลังงาน)

m : mass (มวล)

c : ความเร็วแสง (มาจากภาษาละตนิคำาว่า celeritas แปลว่า อัตราเร็ว)

4

ไอน์สไตนน์ับถือพุทธ

คุณคิดอย่างไร ?

5

แปลจากตอนหนึ่งใน “The Human Side”

"ศาสนา ในอนาคต จะต้องเปน็ศาสนาสากล ศาสนาน้ันควรอยู่เหนือพระเจ้าทีม่ีตัวตน และควรจะเว้นคำาสอนแบบสิทธันต์ (คือเปน็แบบสำาเร็จรูปที่ใหเ้ชื่อตามเพียงอย่างเดยีว) และแบบเทววิทยา(คือพึง่เทวดาเป็นหลักใหญ่) ศาสนาน้ัน เมื่อครอบคลุมทั้งธรรมชาติและจิตใจ จึงควรมีรากฐานอยู่บนสามัญสำานึกทางศาสนา ที่เกิดขึน้จากประสบการณ์ตอ่สิ่งทัง้ปวง คือ ทั้งธรรมชาติและจิตใจอย่างเป็นหน่วยรวมที่มีความหมาย พระพทุธศาสนาตอบข้อกำาหนดน้ีได.้... ถ้าจะมีศาสนาใดทีร่ับมือได้กับความตอ้งการทางวิทยาศาสตร์สมัยใหม่ปัจจุบนั ศาสนาน้ันก็ควรเป็นพระพทุธศาสนา"อ้างอิง : http://www.watnai.org/einstein/The%20Human%20Side%20_st.html

6

หัวใจนักปราชญ์

สุ : สตุะ (ฟัง)

จิ : จินตะ (คิด)

ปุ : ปุจฉา (ถาม)

ลิ : ลขิิต (เขยีน)

สุ จิ ปุ ลิ

7

Large Hadron Collider (LHC)

8

คุณลกัษณะของ LHC

ลึกลงไปใตด้ิน 175 เมตร

มีลักษณะเป็นท่อวงกลมระยะทางยาว 27 กิโลเมตร

superconducting electromagnets น้ันถูกทำาให้มีความเย็นอยู่ที่ -271 องศาเซลเซียส เพือ่ทำาให้มันเป็นตวันำายิ่งยวด ก่อนที่จะเริ่มทำาการทดสอบ

LHC ใช้ระบบ “Grid Computing” ในการคำานวณข้อมูลทีม่ีปริมาณมากถงึ 15 Peta Byte (PB) ต่อปี

9

Avatar Movie

10

Challenge of Avatar Movie

One frame of certain shots, it's 24 frames per second, took 100 computer hours to render. Just one second was 2,400 hours.

Weta operates a 10,000-square-foot facility that uses HP BL2x220c blades to process the effects for AVATAR and other films. The computing core contains some 40,000 processors and 104 terabytes of RAM.

11

12

References

Shrek the Third

http://www.linuxjournal.com/print/9653

Kung Fu Panda digs grids

http://www.isgtw.org/?pid=1000931

Avatar

Google Keyword "avatar movie render"

13

Introduction to Computer Cluster

14

High Performance Computing

Supercomputers

Computer Cluster

Grid Computing

Cloud Computing

15

Difference type of Cluster

High Availability (HA)

Load Balancing

High Throughput Computing

High Performance Computing

16

High-availability clustering

Make more reliable computer system by having many computers working together and takeover when any of them fail

17

Computer Cluster Concept

Cluster computing is a technology related to the building of high performance scalable computing system from a collection of small computing system and high speed interconnection network

18

High Throughput Computing

Jobs Queue

19

High Performance Computing

Sub task 1 Sub task 2

Sub task 3 Sub task 4

Big job

20

Why Cluster ?

One man show not work but Team Work!

Research

More complex and more amount data.

Simulation.

Technical

Can't scale

heat problem

hard to design

price

21

Benefit of Cluster

Low startup cost

Scalability

Rapid response, technology tracking

More user-driven configuration

Order of magnitude price-performance advantage

22

What Cluster do ?

Sciences & Engineering

Aerodynamics

Bioinformatics

Chemistry

Oil and gas

Weather prediction

CFD

Business

Financial analysis

Animation

Graphic Rendering

23

Data from http://www.top500.orgon 11/2009

HPC World

Cluster 410 (83.4%)

Constellation 2 ( 0.4%)

MPP 88 (16.20%)

24

Top500 : Architecture share 1993-2009

25

Top500 : 11/2009 Application Share

26

Top 10 on 11/2009

27

Today and Tomorrow

28

29

48 Core chip

30

Gain Performance with Multi-core

Multi-thread Programming

Pthread

OpenMP

Message Passing

PVM

MPI

Virtualization

31

OpenMP with Visual C++

32

Example : OpenMP code.

compile with “gcc -fopenmp source.c -o output”

33

Another Introduce,

BI : Data Mining

Machine Vision

34

Cloud Computing

35

Hot Issue

Green Computing

Virtualization

On-Demand Computing

Multi-threads / Parallel Programming

36

What's Cloud Computing

Cloud computing is Internet-based ("cloud") development and use of computer technology ("computing")

37

38

Everything as a Service

PaaS : Platform as a Service

SaaS : Software as a Service

IaaS : Infrastructure as a Service

39

Players

40

41

Amazon EC2 Pricing

42

Amazon EC2 Pricing (cont.)

43

Cloud Hosting

44

Variety of Service

45

46

Weakness

Reliability and security

Outage (ไฟดับ)

�

Cost (ต้นทุน)

�

47

Public / Private Cloud

48

Solution

Usage public cloud with lower-priority applications such as absence reporting and expense reporting.

Usage private cloud for privacy and security

where companies will do some of their computing internally, possibly in a private cloud, while other tasks will be offloaded to the public cloud

49

อย่ายุ่งจนขนาดนี้

50

บางครั้งลองเปลี่ยนงานดูบา้งอาจจะดี

51

Software Lists.

Rocks Cluster (http://www.rocksclusters.org/)

VirtualBox (http://www.virtualbox.org/)

Ubuntu (http://www.ubuntu.com/)

OpenMP (http://www.openmp.org/)

Cloud Middleware

Eucalyptus (http://www.eucalyptus.com/)

OpenNebula (http://www.opennebula.org/)

52

About ClusterKit

53

Cluster Kit Co.,Ltd.

Cluster Kit setting up on January 2007 (พ.ศ. 2550), that have professional and experience team for design, implement and Training in Computer Cluster System and Grid Computing.

54

Strong Technical Skills

Design

High Performance System

Load Balancing System

High Availability System

Application Software

Web Load balancing

MySQL Cluster

Lustre File System

{Linux, Windows} Cluster

Rendering Farm

55

Our proudly success

Thai National Grid Center (TNGC)

“TERA” Cluster 800 cores

Windows Cluster 33 nodes

Ramkhamhaeng University

“Sila” Cluster

286 cores

BIOTEC

“Eclipse” Cluster

704 cores

56

Our proudly success (contd.)

Geo-Informatics and Space Technology Development Agency (GISTDA)

Digital Thailand Project

Web Load Balancing + Lustre

Virgin Radio Thailand

7 Nodes Web Load Balancing

57

ClusterKit Timeline

58

พ.ศ.2547 (2004)

Asia Pacific Science & Technology Facility (APSTF)

A Research collaboration between Kasetsart University & Sun Microsystems

59

พ.ศ.2548 (2005)

PAKSA Cluster for medical research– Avian Flu– HIV

44 Sun Fire V20Z nodes (88 Cores)

60

พ.ศ.2548 (2005)

GISTDA

6 nodes Pilot Project

Geo-Informatics and Space Technology Development Agency (Public Organization)

61

พ.ศ.2550 (2007)

Cluster Kit Startup

Installed the TERA Cluster @ ThaiGrid

62

พ.ศ. 2551 (2008)

Full service at RU. (Sila Cluster)

63

พ.ศ.2552 (2009)

Setup “Eclipse” Cluster at BIOTEC

64

The EndQ & A