AWSマイスターシリーズ “Reloaded” ～Amazon EC2 HPCインスタンス～

2012年3月12日

ソリューションアーキテクト 松尾 康博 (@understeer)

エバンジェリスト/技術統括部長 玉川 憲 (@KenTamagawa)

セミナーのAgenda

HPCとは？

HPCインスタンスの特徴

HPCインスタンスの料金

HPCインスタンスの事例と制限

Copyright © 2011 Amazon Web Services

HPCとは？

高性能計算(high-performance computing)

HPCは狭義には、並列スーパーコンピュータ及びコンピュータ・クラスタ（主に汎用のCPU

を商用の相互結合網で結合し、単一のシステムとして構成された計算機システム）の利用を指す。その場合、HPCをハイ・パフォーマンス・クラスタリング (high-performance

clustering) の略とすることもある。また、クラスタリングにより高性能計算を実現する計算機をHPCC (high-performance computing cluster) と呼ぶ。

------snip----

科学研究に使われる計算に対して用いられることが多く、関連する用語に高性能技術計算（high performance technical computing、HPTC）がある。後者は一般にはクラスターベースの計算の工学的利用（例えば計算流体力学(computational fluid dynamics)や、仮

想的なプロトタイプの構築・試験など）を指す。最近では、クラスタベースの高性能計算機はビジネスにも利用されるようになってきた。例えばデータウェアハウス、LOBアプリケーション(line-of-business application)、トランザクション処理などである。

出典「Wikipedia 高性能計算」http://ja.wikipedia.org/wiki/高性能計算

従来のHPC

役割と構成

スーパーコンピュータやクラスター上で、MPI等の密結合処理な並列処理を行う

低遅延・広帯域なインターコネクトネットワーク

常に言われること

構築費用が高い

電源、ネットワーク等の設計・構築・運用が大変

クラスタは典型的な共用リソース

待ち行列で待たされる

従来のEC2はHPCに合わない

1Gbpsの帯域幅では十分ではない

HPC on AWSとは？

HPC用に最適化されたEC2インスタンス クラスタインスタンス Cluster Compute : cc1.4xlarge, cc2.8xlarge

クラスタGPUインスタンス Cluster GPU: cg1.4xlarge

高性能ネットワーク 低遅延

広帯域

密結合な並列HPCアプリケーションを念頭に設計 マルチコア、メニイコア、とそのハイブリッド

MPI、OpenMP、Fortran-90, CUDA等

HPC on AWSのメリット

無制限にノード利用可能

無制限のストレージ

非ブロッキング

full bisection帯域幅ネットワーク

待ち行列無し

共有プール無し

オンデマンド

プログラム可能なインフラ

従量課金

自由にスケールアップ・ダウン

スポット価格も利用可能

無制限のスケール 俊敏性 価格性能比

HPCインスタンスとは？

3つのインスタンスタイプ クラスタコンピュートインスタンスCC1、CC2

クラスタGPUインスタンス CG1

必要なときに必要なだけ利用可能 共用HPCクラスタのようにジョブをキューに入れて待つことなく

、計算が必要なときに必要な量・時間の計算リソースを利用

注）初期上限は8ノード。上限緩和申請で引き上げ可能

HPCクラスタを従量課金で利用可能

クラスタ調達、設定・運用のコスト・複雑さを低減

複数の価格モデル(オンデマンド・を組み合わせてコスト最適化が可能

HPC用インスタンスタイプ

cc1.4xlarge 最初のHPC用インスタンスタイプ

33.5ECU, 23GB RAM, 1690GB インスタンスストレージ

4コア Intel Xeon 5570(Nehalem) x 2

cc2.8xlarge 最新のHPC用インスタンスタイプ

88ECU, 60.5GB RAM, 3360GB インスタンスストレージ

8コア Intel Xeon E5 (Sandy Bridge) x 2

AVX(Advancec Vectore Extensions)が有効

cg1.4xlarge cc1にGPUを搭載したGPGPU用インスタンスタイプ

2 x NVIDIA Tesla “Fermi” M2050 GPU ( 2*447 CUDA cores)

サポートOS

3種類のベースOS AMIを提供 Amazon Linux (RHEL, CentOS 5.4 互換)

SUSE Linux Enterprise Server

Windows Server 2008 R2

HPC Pack 2008 R2 Expressもインストール可

その他OSのAMIもサードパーティより提供

CentOS, Ubuntu, FreeBSD,etc

OS/AMIは EBS-backed

カスタムAMIの作成方法は従来のEC2と同様

Chef /Puppetも利用可能

HPCインスタンスと通常のEC2インスタンス

命令セットアーキテクチャを公開

コンパイラオプションで、Nehalem, Sandy Bridge, Teslaをターゲット指定可能

HVM(Hardware assisted virtualization)

通常のEC2で用いる準仮想化とは異なる

1:1で物理マシンと仮想マシンが対応

10Gbps NIC + JumboFrame

Full-bisection ノンブロッキングネットワーク

上記以外はは通常のEC2と同じ

EBS, EBS Snapshot, AMI作成, Security Groups, VPC, etc.

現時点で、US-EASTでのみ提供

クラスタネットワーク

従来のEC2と比べ、約10倍の帯域と1/10のレイテンシ レイテンシ 50μsec未満

帯域 最大10Gbps

HPCインスタンス間は、JumboFrameを使用

ノンブロッキング

HPCインスタンス用API： Placement Groupを追加 論理クラスターを構築するネットワーク単位

Full bisection の帯域 Placement Group内のインスタンス間の通信帯域は 10Gbps full bisectionのネットワーク

クラスタネットワーク

プレイスメントグループ内の全ノード間でFull bisection bandwidth 10Gbpsの帯域

１プレイスメントグループで220ノードを収容可能

複数のプレイスメントグループで構成した“Cluster of Clusters” で、より大きくスケール可能 Full bisection bandwidth

Placement Groupとは

クラスタインスタンスの論理クラスタ

作成・利用はコマンドラインやコンソールで簡単に行える

オプション機能

プレイスメントグループ内で、ノンブロッキング N/Wが可能

従来に比べてより安定した帯域を提供

データ格納先

インスタンスストレージ

2x 840GB

EBS

従来のEC2同様、最大1TB/ボリューム

RAID0をサポート

S3

API,curl,wget,s3cmd等による並列アクセス可能

その他

GlusterFS

Lustre

クラスタファイルシステム ～Amazon S3

分散オブジェクト(file)ストレージ

耐障害性 99.999999999%

超並列アクセスが可能

既存APIと非互換

HTTP/HTTPS のみ

POSIX非対応、NFS非対応、FTP非対応

クラスタファイルシステム ～GlusterFS

ソフトウェア スケールアウト型分散ファイルシステム FUSEベース

POSIX, NFS, CIFS, DAV, HTTPS対応

メタデータサーバ不要 Elastic hashingアルゴリズムを採用

全クライアントは 目的のファイルがどのノードにあるか知っている

クライアントがファイルに直接アクセス

数百PBまでスケールアウト可能 Failoverに備えて、データのミラー・同期複製

並列性能向上のためデータストライピング

Red Hatへ Red Hat to Acquire Gluster

http://www.redhat.com/promo/storage/

GlusterFSの2つの利用方法

インスタンスストレージを利用 ユーザが自分で分散ファイルシステムを構築可能

S3からデータを並列にコピー可能

クラスター起動中は、ファイルシステムを利用可能

EBSを利用 クラスタのライフサイクルに非依存な永続的なファイルシステムを構築可能

必要に応じて、クラスタを起動して、利用可能

S3にバックアップ(snapshot)可能

HPC用データ転送方法

標準的な方法 Scp/sftp/rsync/ftp

EBS/インスタンスストレージにコピー可能

クラスター起動中も、ファイルシステムを利用可能

高速転送ソリューションを利用 Tsunami

Aspera

BBCP

Riverbed

参考：AWS Import/Export 物理的にDiskを送受信しAWS側で S3やEBSにImport/Exportを行う

参考：AWS Direct Connect 1Gbps/10GbpsでAWSへ専用線接続

Linpackの結果

2010年11月

CC1インスタンス ( Xeon X5570 2.95GHz, 10GbE)

880ノード (7040コア)

41.82 TFLOPS

Top500 231位

http://i.top500.org/system/10661

2011年11月

CC2インスタンス ( Xeon E5, 10GbE)

1064ノード(17024コア)

240.09 TFLOPS

Top500 42位

http://i.top500.org/system/177457

HPCインスタンスの適用分野

従来型の密結合 HPCアプリケーションで多くの事例

MPI分散メモリ並列処理

CUDA GPU並列処理

CFD (Computational Fluid Dynamics)

FEA (Finite Element Analysis)

モンテカルロシミュレーション

ゲノム解析

レンダリング

HPCインスタンスの利用事例

NASA Jet Propulsion Laboratory

128ノード(1024コア)

http://aws.typepad.com/aws/2010/09/high-performance-cloud-computing-nasa-matlab.html

HPCインスタンスの利用事例

MathWorks / MATLAB

最大32ノード(256コア)

http://aws.typepad.com/aws/2010/09/high-performance-cloud-computing-nasa-matlab.html

その他事例

http://aws.amazon.com/jp/solutions/case-studies/#hpc

HPCインスタンスの新しい適用分野

その他、ネットワークに依存する処理

ストリームデータ処理

Hadoop / EMR/ Hive/ Pig/ Cascading等

分散キャッシュ

NoSQL

Cassandra/ MongoDB/ Riak等

スケールアップ型ソフトウェアバランサー

HAProxy等

スケールアップ型RDBMS

高性能データベース等

利用料金

2012年3月に値下げ実施！（10%～38%)

特にリザーブドインスタンスが大幅値下げ

予約金$250k以上で10%、$2,000k以上で20%のボリュームディスカウント

料金表

http://aws.amazon.com/jp/ec2/pricing/

hourly upfront hourly upfront hourly upfront hourly hourly

CC1 $1.300 $1450 $0.742 $3286 $0.450 $4060 $0.297 $.0.450

CC2 $2.400 $1762 $0.904 $4146 $0.540 $5000 $0.361 $0.540

CG1 $2.100 $2410 $1.234 $5630 $0.740 $6830 $0.494 $0.665

CC1 $1.610 $1450 $0.922 $3286 $0.630 $4060 $0.477 N/A

CC2 $2.970 $1762 $1.114 $4146 $0.750 $5000 $0.571 N/A

CG1 $2.600 $2410 $1.534 $5630 $1.040 $6830 $0.794 N/A

Linux/Unix

Windows

Spot

Reserved

low mid highOndemand

利用料金

Spotインスタンスも利用可能 低額にHPCインスタンスを利用可能

ただし、入札価格によっては突然シャットダウン

価格の変動履歴はマネージメントコンソールで確認 一般的に、リザーブドインスタンスが目安

ソフトウェア

NVIDIA GPUドライバ、CUDA toolkitはロード済み

Cluster Instance Amazon Linux AMI

Windows 2008 R2 for Cluster Instances

様々なソフトウェアが利用可能

AWSでは、Intel MPI and Intel MKL® ライブラリを使用

OpenMPI, MPICH2なども利用されている

Hadoop/ EMRも利用可能

その他様々なクラスタ管理ツール

その他様々なHPCソフトウェア

HPCツールと、パートナー製品

従来のクラスタ管理ソフトウェアの多くが利用可能です。

SGE

Adaptive Computing – Moab, Torque

Altair – PBS

Platform – LSF

Oracle – Grid Engine

Univa-UD – UniCloud, GridMP

Clustercorp – Rocks+Rolls

Cycle Computing – Condor

MIT - Starcluster

並列ファイルシステム

Gluster

Lustre

GFS

AWSプレミアムサポート アーキテクチャ設計に関するガイダンス、ベストプラクティスも日本語でご案内できます aws.amazon.com/jp/premiumsupport/

Copyright © 2011 Amazon Web Services

ブロンズ シルバー ゴールド プラチナ

初回応答時間 １２時間 ４時間 １時間 １５分

サポート連絡先 １人 ２人 ３人 無制限

24/365対応 なし なし あり あり

TEL可能 不可 不可 可能 可能

専任スタッフ なし なし なし あり

特別サポート なし なし なし あり

料金 $49 AWS利用総額の

5%

AWS利用総額の

$0~$10K: 10%

$10K~$80K: 7%

$80K~: 5%

（最低$400）

AWS利用総額の

10%

（最低$15K）

参考情報

AWS HPC

http://aws.amazon.com/jp/hpc-applications/

Amazon EC2 料金

http://aws.amazon.com/jp/ec2/pricing/

Windows Guide

http://docs.amazonwebservices.com/AWSEC2/latest/WindowsGuide/

ビデオ

8ノードクラスタ構築

http://www.youtube.com/watch?v=5zBxl6HUFA4

10分でHPCクラスタ構築

http://www.youtube.com/embed/YfCgK1bmCjw

ワシントン大学の事例

http://www.youtube.com/watch?v=mKElyNabc0A

Q & A

Copyright © 2011 Amazon Web Services