hpc cluster & cloud computing
DESCRIPTION
TRANSCRIPT
HPC Cluster & Cloud Computing
กิตติรักษ์ มว่งมิ่งสุข(Kittirak Moungmingsuk)
Feb 9, 2010 @ NIDA
2
What's ?
E=mc2
3
Mass–energy equivalence
E : Energy (พลังงาน)
m : mass (มวล)
c : ความเร็วแสง (มาจากภาษาละตนิคำาว่า celeritas แปลว่า อัตราเร็ว)
4
ไอน์สไตนน์ับถือพุทธ
คุณคิดอย่างไร ?
5
แปลจากตอนหนึ่งใน “The Human Side”
"ศาสนา ในอนาคต จะต้องเปน็ศาสนาสากล ศาสนาน้ันควรอยู่เหนือพระเจ้าทีม่ีตัวตน และควรจะเว้นคำาสอนแบบสิทธันต์ (คือเปน็แบบสำาเร็จรูปที่ใหเ้ชื่อตามเพียงอย่างเดยีว) และแบบเทววิทยา(คือพึง่เทวดาเป็นหลักใหญ่) ศาสนาน้ัน เมื่อครอบคลุมทั้งธรรมชาติและจิตใจ จึงควรมีรากฐานอยู่บนสามัญสำานึกทางศาสนา ที่เกิดขึน้จากประสบการณ์ตอ่สิ่งทัง้ปวง คือ ทั้งธรรมชาติและจิตใจอย่างเป็นหน่วยรวมที่มีความหมาย พระพทุธศาสนาตอบข้อกำาหนดน้ีได.้... ถ้าจะมีศาสนาใดทีร่ับมือได้กับความตอ้งการทางวิทยาศาสตร์สมัยใหม่ปัจจุบนั ศาสนาน้ันก็ควรเป็นพระพทุธศาสนา"อ้างอิง : http://www.watnai.org/einstein/The%20Human%20Side%20_st.html
6
หัวใจนักปราชญ์
สุ : สตุะ (ฟัง)
จิ : จินตะ (คิด)
ปุ : ปุจฉา (ถาม)
ลิ : ลขิิต (เขยีน)
สุ จิ ปุ ลิ
7
Large Hadron Collider (LHC)
8
คุณลกัษณะของ LHC
ลึกลงไปใตด้ิน 175 เมตร
มีลักษณะเป็นท่อวงกลมระยะทางยาว 27 กิโลเมตร
superconducting electromagnets น้ันถูกทำาให้มีความเย็นอยู่ที่ -271 องศาเซลเซียส เพือ่ทำาให้มันเป็นตวันำายิ่งยวด ก่อนที่จะเริ่มทำาการทดสอบ
LHC ใช้ระบบ “Grid Computing” ในการคำานวณข้อมูลทีม่ีปริมาณมากถงึ 15 Peta Byte (PB) ต่อปี
9
Avatar Movie
10
Challenge of Avatar Movie
One frame of certain shots, it's 24 frames per second, took 100 computer hours to render. Just one second was 2,400 hours.
Weta operates a 10,000-square-foot facility that uses HP BL2x220c blades to process the effects for AVATAR and other films. The computing core contains some 40,000 processors and 104 terabytes of RAM.
11
12
References
Shrek the Third
http://www.linuxjournal.com/print/9653
Kung Fu Panda digs grids
http://www.isgtw.org/?pid=1000931
Avatar
Google Keyword "avatar movie render"
13
Introduction to Computer Cluster
14
High Performance Computing
Supercomputers
Computer Cluster
Grid Computing
Cloud Computing
15
Difference type of Cluster
High Availability (HA)
Load Balancing
High Throughput Computing
High Performance Computing
16
High-availability clustering
Make more reliable computer system by having many computers working together and takeover when any of them fail
17
Computer Cluster Concept
Cluster computing is a technology related to the building of high performance scalable computing system from a collection of small computing system and high speed interconnection network
18
High Throughput Computing
Jobs Queue
19
High Performance Computing
Sub task 1 Sub task 2
Sub task 3 Sub task 4
Big job
20
Why Cluster ?
One man show not work but Team Work!
Research
More complex and more amount data.
Simulation.
Technical
Can't scale
heat problem
hard to design
price
21
Benefit of Cluster
Low startup cost
Scalability
Rapid response, technology tracking
More user-driven configuration
Order of magnitude price-performance advantage
22
What Cluster do ?
Sciences & Engineering
Aerodynamics
Bioinformatics
Chemistry
Oil and gas
Weather prediction
CFD
Business
Financial analysis
Animation
Graphic Rendering
23
Data from http://www.top500.orgon 11/2009
HPC World
Cluster 410 (83.4%)
Constellation 2 ( 0.4%)
MPP 88 (16.20%)
24
Top500 : Architecture share 1993-2009
25
Top500 : 11/2009 Application Share
26
Top 10 on 11/2009
27
Today and Tomorrow
28
29
48 Core chip
30
Gain Performance with Multi-core
Multi-thread Programming
Pthread
OpenMP
Message Passing
PVM
MPI
Virtualization
31
OpenMP with Visual C++
32
Example : OpenMP code.
compile with “gcc -fopenmp source.c -o output”
33
Another Introduce,
BI : Data Mining
Machine Vision
34
Cloud Computing
35
Hot Issue
Green Computing
Virtualization
On-Demand Computing
Multi-threads / Parallel Programming
36
What's Cloud Computing
Cloud computing is Internet-based ("cloud") development and use of computer technology ("computing")
37
38
Everything as a Service
PaaS : Platform as a Service
SaaS : Software as a Service
IaaS : Infrastructure as a Service
39
Players
40
41
Amazon EC2 Pricing
42
Amazon EC2 Pricing (cont.)
43
Cloud Hosting
44
Variety of Service
45
46
Weakness
Reliability and security
Outage (ไฟดับ)
�
Cost (ต้นทุน)
�
47
Public / Private Cloud
48
Solution
Usage public cloud with lower-priority applications such as absence reporting and expense reporting.
Usage private cloud for privacy and security
where companies will do some of their computing internally, possibly in a private cloud, while other tasks will be offloaded to the public cloud
49
อย่ายุ่งจนขนาดนี้
50
บางครั้งลองเปลี่ยนงานดูบา้งอาจจะดี
51
Software Lists.
Rocks Cluster (http://www.rocksclusters.org/)
VirtualBox (http://www.virtualbox.org/)
Ubuntu (http://www.ubuntu.com/)
OpenMP (http://www.openmp.org/)
Cloud Middleware
Eucalyptus (http://www.eucalyptus.com/)
OpenNebula (http://www.opennebula.org/)
52
About ClusterKit
53
Cluster Kit Co.,Ltd.
Cluster Kit setting up on January 2007 (พ.ศ. 2550), that have professional and experience team for design, implement and Training in Computer Cluster System and Grid Computing.
54
Strong Technical Skills
Design
High Performance System
Load Balancing System
High Availability System
Application Software
Web Load balancing
MySQL Cluster
Lustre File System
{Linux, Windows} Cluster
Rendering Farm
55
Our proudly success
Thai National Grid Center (TNGC)
“TERA” Cluster 800 cores
Windows Cluster 33 nodes
Ramkhamhaeng University
“Sila” Cluster
286 cores
BIOTEC
“Eclipse” Cluster
704 cores
56
Our proudly success (contd.)
Geo-Informatics and Space Technology Development Agency (GISTDA)
Digital Thailand Project
Web Load Balancing + Lustre
Virgin Radio Thailand
7 Nodes Web Load Balancing
57
ClusterKit Timeline
58
พ.ศ.2547 (2004)
Asia Pacific Science & Technology Facility (APSTF)
A Research collaboration between Kasetsart University & Sun Microsystems
59
พ.ศ.2548 (2005)
PAKSA Cluster for medical research– Avian Flu– HIV
44 Sun Fire V20Z nodes (88 Cores)
60
พ.ศ.2548 (2005)
GISTDA
6 nodes Pilot Project
Geo-Informatics and Space Technology Development Agency (Public Organization)
61
พ.ศ.2550 (2007)
Cluster Kit Startup
Installed the TERA Cluster @ ThaiGrid
62
พ.ศ. 2551 (2008)
Full service at RU. (Sila Cluster)
63
พ.ศ.2552 (2009)
Setup “Eclipse” Cluster at BIOTEC
64
The EndQ & A