amazon ec2 f1 インスタンス• f1ハードウェアキット (hdk)を使して、...

© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.

Gadi Hutt

Amazon Web Services、EC2 F1向けグローバルビジネス開発担当

脇本康裕

株式会社ソシオネクストエンタープライズソリューション事業部

3-H1-3-15

Amazon EC2 F1 インスタンス～カスタムハードウェアアクセラレータを使用した

アプリケーションの高速化～


アジェンダ

• EC2 F1インスタンスの概要と更新内容

• カスタムHWアクセラレーションの構築方法

• ユースケースとサクセスストーリー

• 株式会社ソシオネクスト: AWS上でのHWアクセラレーションによるAV1ビデオエンコーダーの構築

• 始めましょう


汎用コンピューティング

最適化ストレージ最適化メモリ最適化

アクセラレーテッドコンピューティング

M5

T2

C5

C4

H1

I3

X1e

R4

F1

P3

G3

D2

Amazon EC2インスタンスタイプ


AWSにおけるF1 FPGAインスタンスタイプ

§最大8個のXilinx UltraScale+ 16nm VU9P FPGAデバイスを単一のインスタンスで利用可能

§ f1.16xlargeサイズの場合:

§ 8個のFPGAそれぞれに、200万個以上のカスタマーアクセス可能なプログラマブルロジックセルと5000個以上のプログラマブルDSPブロックを搭載

§ 8個のFPGAそれぞれに、4つのDDR-4インターフェイス、さらにそれぞれのインターフェイスが16GiB、72ビット幅のECC保護メモリにアクセス

インスタンス

サイズFPGA FPGAメモリ

(GB) vCPU インスタンス

メモリ (GB)NVMeインスタンス

ストレージ(GB)ネットワーク

帯域幅

f1.2xlarge 1 64 8 122 1 x 470 最大10 Gbps

f1.16xlarge 8 512 64 976 4 x 940 25 Gbps


FPGAにおける並列処理

FPGAは、ビデオストリームに対するマルチステージ処理、複雑な金融モデルに対する大量の依存/非依存計算の実行など、さまざまなタイプのデータの並列処理において有効である

• FPGAには命令セットは存在しない

• データのビット幅を任意に設定できる(9ビット整数にも対応可能)• 広いメモリバス（512ビット長?）


FPGAアクセラレーションの仕組み

FPGAは、コンピューティングイ

ンテンシブで、ディープパイプライン化された、ハードウェアアクセラレーション処理を実施

....

....

module filter1 (clock, rst, strm_in, strm_out)module filter1 (clock, rst, strm_in, strm_out)

for (i=0; i<NUMUNITS; i=i+1)for (i=0; i<NUMUNITS; i=i+1)

always@(posedge clock)always@(posedge clock)

integer i,j; //index for loopsinteger i,j; //index for loops

tmp_kernel[j] = k[i*OFFSETX];tmp_kernel[j] = k[i*OFFSETX];

アプリケーション

....

....

....

....

....

....

....

CPUが残りを処理する


「ディープパイプライン化」とは

シングルコアマルチコアパイプライン


カスタムロジックとFPGAシェル

AWS FPGA シェル標準的な、事前テスト済みのセキュアなI / Oコンポーネントを提供し、FPGA開発者がその差別化された価値に集中できるようにします

ソフトウェア開発キット (SDK)FPGAの管理と通信に必要なソフトウェアインターフェイスを提供します

ハードウェア開発キット (HDK)必要なFPGAシェルコンポーネントを提供

SDK

HDK

ソフトウェアアプリケーション

https://github.com/aws/aws-fpga

カスタムロジック

AWS FPGA シェル


カスタムアクセラレーションの開発

FPGA Developer AMI

ユーザのFPGAロジックを記述し、シミュレートするために（HDKと共に）必要となる全てのツール群をあらかじめ統合

Xilinx Vivado (カスタムロジック開発用) Virtual JTAG (インタラクティブなデバッグ用)


Amazon FPGAアクセラレーション

PCIeDDR

コントローラ DDR-4アタッチメモリ

EC2F1

インスタンスの起動とAFIのロード

Amazon Machine Image (AMI)

CPUアプリケーショ

ン

Amazon FPGA Image (AFI)F1インスタンスは任意の

数のAFIを保持できる

AFIはFPGAに数秒でロードできる


Amazon FPGA Image (AFI)の作成と使用暗号化したAFIを生成して、F1上にデプロイ/マーケットプレース上にパブリッシュ


1.4 シェルのリリースを発表

Ø 改善されたDMAパフォーマンス: 以前のシェルに比べて５倍性能向上

Ø 再構成可能なシェル: AFI再コンパイルなしで将来のシェル機能をアップグレード可能に

Ø ベータ機能: DRAM データの保持機能

Ø ソフトウェア定義開発 (OpenCL):o 最大60個のカーネルをサポート (以前は16個)

o 自動最適化 (未使用リソースの解放)

o RTLカーネルをサポート

o ポストシンセシス（合成）、配置配線の最適化

EC2F1


リージョンとアベイラビリティゾーンの数AWS GovCloud (2) EU

アイルランド (3)米国西部フランクフルト (3)オレゴン (3) ロンドン (2)北カリフォルニア (3)

アジア太平洋

米国東部シンガポール (2)北バージニア (6)、オハイオ (3) シドニー (3)、東京 (3)、

ソウル (2)、ムンバイ (2)カナダ

中部 (2) 中国

北京 (2)南アメリカ

サンパウロ (3)

発表済みリージョンバーレーン、香港、スウェーデン、さらに米国で2番目のAWS GovCloud、さらに12のアベイラビリティゾーンと4つのリージョンの計画を発表

AWS グローバルインフラストラクチャ

F1F1

F1

18のリージョン – 55のアベイラビリティゾーン

F1


FPGAパートナーとユースケース

F1ユースケースとパートナー

§ 金融計算

§ ゲノミクスシークエンシング

§ エンジニアリングシミュレーション

§ 画像・ビデオ処理

§ ビッグデータ、機械学習

§ セキュリティ、圧縮

§ ...など


低レイテンシー・高速検索エンジン

ローカルマシン

CAGACCGGGGGGCGGACCCACTGGTTCCGGGGCGGGGCCTTGACCGGGGGCGGAGCCATGGGCGGGGCGGGGCGGGGCCACTGACCACAGGGGGCGGGGTCTCGGGCCCCCGCACATCCCGGGGGCGGAGCCATGGGGCGGGTCCACTGGCCCCGGGGGTGGGGTCTCGGGCTTGGGGGCGGCCCCACGGGGCTGGGGCGGGGCCACTGGCCACAGGGGCGGGGTCACGGCTTCGGGGCGGGGCCACAGACCGGGGGCAGAGCCATGGGCGGGGGGCACG

DNA配列

Cin/Q Thr/T Gly/G Gly/G Arg/R Thr/T His/HTrp/W Phe/F Arg/R Gly/G Gly/G Ala/A Leu/LThr/T Gly/G Gly/G Gly/G Ala/A Met/M Gly/GGly/G Ala/A Gly/G Arg/R Gly/G His/H STOPPro/P Cin/Q Gly/G Ala/A Gly/G Ser/S Arg/RAla/A Pro/P Ala/A His/H Pro/P Gly/G Gly/GGly/G Ala/A Met/M Gly/G Arg/R Val/V His/HTrp/W Pro/P Arg/R Gly/G Trp/W Gly/G Leu/LGly/G Leu/L Gly/G Gly/G Gly/G Pro/P Thr/T

アミノ酸配列

• 次世代連想記憶メモリ（CAM）のFPGA実装ソリューション• DNA配列からアミノ酸配列への変換を300倍高速化• Wikipediaの全アーカイブ（60GB）を2,500の異なるエントリで検索すると、CPUインスタンスでは

16日要するが、FPGAインスタンスではわずか6分で実現


FPGAパートナーとAWSユーザーの結び付け

(AWS F1)


大規模なプレシジョンメディシン(精密医療)の促進

Children’s Hospital of PhiladelphiaとEdico Genome社、最速で1,000件のゲノム解析を達成

2017年10月19日、フィラデルフィア州オーランド – Children’s Hospital ofPhiladelphia (CHOP)とEdico Genome社は本日、プレシジョンメディシンを臨床診療の主流にすることを目的として、ヒトゲノム(人間の全遺伝情報)を研究利用可能なデータファイルに高速変換する処理において、科学界の新たな基準を打ち立てた。Amazon Web Services(AWS)クラウドの1,000個のAmazon EC2F1インスタンス上にデプロイされた、Edico Genome社のDRAGENTM GenomePipelineを利用することで、1,000件の小児ゲノムが2時間25分以内に処理された。


AWS F1での高性能な画像処理

CIP (CTAccel Image Processor): F1イメージアクセラレーター

アプリケーション

JPEGサムネールシャープ加工

ウォーターマーク

明るさ - コントラストメインカラー

JPEGデコード

Ø 2016年、香港と深セン市で設立

Ø メインスタッフの出身校は、CUHK、HKUST、

FDU、CASなど

Ø FPGAによるデータセンターのアクセラレーション

コンピューティング技術に注力

Ø コア技術は米国特許取得済み

Ø 2016年、香港と深セン市で設立

Ø メインスタッフの出身校は、CUHK、HKUST、

FDU、CASなど

Ø FPGAによるデータセンターのアクセラレーション

コンピューティング技術に注力

Ø コア技術は米国特許取得済み

AWSFP1 CIP

JPEG 2 Lepton リサイズ

エンドユーザー携帯電話/PAD カメラ PC

アプリケーションクラウドアルバムソーシャルネットワークニュース...

...

JPEG 2 Webp

遅延の削減遅延の削減10x 10x同時処理の向上

28.1

279

Latency/ms567

57.0

QPS

CIPのハイライト

テスト画像ライブラリ：(1) 総画像数： 10000、(2) 解像度: 4096 x 2160、(3)総サイズ: 8.3GB


FPGAアクセラレーションを適用したRyftクラウド上とCPU上でのElasticsearchのベンチマーク比較

Ryft社の解析エンジンがビッグデータ解析を91倍高速化

20

21Copyright 2018

Amazon EC2 F1インスタンスカスタムハードウェアアクセラレータを使⽤したアプリケーションの⾼速化

株式会社ソシオネクストエンタープライズソリューション事業部脇本康裕

2018年 6⽉ 1⽇

22Copyright 2018

富⼠通

システムLSI事業

パナソニック

システムLSI事業

富⼠通とパナソニックのシステムLSI事業を統合し、2015年3⽉1⽇から事業開始

ソシオネクストの成り⽴ち

23Copyright 2018

ソシオネクストのコア技術

24

ビデオCODECとは

Copyright 2018

CODEC = エンコード + デコードエンコード︓伝送や記録のために、画像・⾳声データを⼩さく圧縮デコード ︓圧縮されたデータを元の画像・⾳声データに戻す

元の画像→エンコードデコード→元の画像

Professional

users

圧縮されたデータ

100G,400G,・・・

25

何をやったか

Copyright 2018

HostCPU

FPGA

n 最先端規格(AV1)のエンコーダ実装2018/3/28 正式規格リリース2018/4/9-12 NAB2018でデモ展⽰

n 超短期開発2018/2/5 開発開始(アカウント登録)2018/3/16 システム動作確認完了

n CPUとFPGAで処理を進めるハイブリッド構成エンコーダ＝映像を調べる＋ビットを組⽴＋全体制御

開発環境サンプル

処理が単純並列処理

処理に柔軟性必要逐次処理

FPGA CPU

26

AV1 エンコードデモ

Copyright 2018

XeonProcessor

XILINXFPGA

HardwareAcceleratorReference

Encoder

XeonProcessor

ReferenceEncoder

＋

CPU処

理時間

約1/10に

アクセラレータによるCPU処理量削減効果

プロトタイプデモ展⽰（2018/4/9-12 NAB2018）

27

F1インスタンスの感想、意⾒

Copyright 2018

n これまでFPGAを使うには、先ずボードの購⼊ or 開発が必要

n いつでも

→先ず購⼊⼿続、納品、設置、設定、そして使ってみる

→決めたその⽇に使ってみる

n 誰でも・どこからでも

→専⾨家が、実験室で利⽤

→IDあればInternetのつながるどこからでも利⽤

決めた2/5に開発開始︕

開発︓京都企画︓横浜

デモ︓ラスベガス

28

F1インスタンスの感想、意⾒〜ソシオネクストの挑戦

Copyright 2018

n 挑戦１︓半導体の新ビジネスモデル

→半導体ユーザが使いたいのはSiliconとは限らないCODECという機能を提供するモデル

n 挑戦２︓SaaS with FPGA

→SaaSで利⽤されるアプリをFPGAで加速定番アプリの加速モデル


FPGAパートナーソリューションの提供

Amazon EC2 FPGAMarketplaceからのデプロイメント

CPUアプリケーショ

ン

カスタマー

Amazon Machine Image (AMI)Amazon FPGA Image (AFI)AFIはセキュリティ保護、暗号化が施されて、FPGAに動的にロードされる –

コピーやダウンロードは不可能


AWS Marketplaceクラウド環境でのソフトウェアの検索、入手、デプロイ、管理


さあ、始めましょう


F1インスタンスを使用する3つの方法

ハードウェア開発者1

• F1ハードウェア開発キット(HDK)を使用して、VerilogおよびVHDLでカスタムFPGAアクセラレーションを開発しデプロイする

ソフトウェア開発者2

• OpenCLを使用して、C/C++コードからカスタムアクセラレーションを構築する

AWSユーザー3

• AWS Marketplaceで入手可能なすぐに使える構築済みのアクセラレーションを使用する


https://github.com/awslabs/aws-fpga-app-notes/tree/master/reInvent17_Developer_Workshop

§ AWS F1 C/C++による実践体験

§ FPGAアクセラレーションアプリケーションの開発方法の学習

§ カスタムFFMPEGアクセラレーターの作成 (2時間未満)

F1 C/C++チュートリアル


80以上の OpenCL レファレンス例

アクセラレーション: 計算ユニットのFPGAへのオフロード事例

• ベクトル量子化

• 行列乗算

• 最近傍探索

• 擬似乱数生成器

セキュリティ: 暗号化とデータセキュリティにおける事例

• SHA-1

• RSA 復号化

• AES-128 ECB 暗号化

ビジョン: イメージ及びビデオ処理事例

https://github.com/aws/aws-fpga/tree/master/SDAccel/examples


モンテカルロファイナンシャルモデル POC

https://github.com/KitAway/FinancialModels_AmazonF1ブラック–ショールズモデル, ~543倍高速化 (ヨーロピアン・オプション)Hestonモデル, ~148倍高速化 (ヨーロピアン・オプション)

Model OptionN. randomnumbergenerators

N.simulations

N.simulationgroups

N. stepsTime C5CPU [s]

Time F1FPGA [s]

LUT LUTMem REG BRAM DSP

Black-Scholes

Europeanoption 64 512 1024 1 125 0.23 31% 2% 15% 26% 43%

Black-Scholes

Asianoption 64 512 65536 256 376 0.83 31% 2% 16% 26% 43%

Heston Europeanoption 32 512 512 256 226 1.52 18% 2% 9% 11% 26%

HestonEuropeanbarrieroption

32 512 512 256 32 0.75 18% 2% 9% 11% 26%


ファイル圧縮例

https://github.com/Xilinx/Applications/tree/master/GZip1.7倍の圧縮率、20%のFPGA使用率で1.92 GB/s の速度を実現


画像圧縮例

https://github.com/Xilinx/Applications/tree/master/webp6%のFPGA使用率で14倍の高速化を実現

Pictures Texture complexity Width (pix) Height (pix) -q BottleneckBottleneck latency(ms)

Freq (MHz)Throughput CPUAWS C5 (MB/s)

Speed up

3840-city.png complex 3840 2160 80 kernel-2 87.93 250 18.46 7.67

1920x1080x4.png simple 3840 2160 80 kernel-1 74.96 250 16.17 10.34

1920x1080.png simple 1920 1080 80 kernel-1 18.60 250 11.85 14.22

853x640.png simple 853 640 80 kernel-1 74.96 250 20.97 7.92

lena_c_512.png middle 512 512 80 kernel-1 2.84 250 21.32 6.50


ML アクセラレーションスイート

https://github.com/Xilinx/ML-Suite/


Amazon EC2 F1インスタンス入門ワークショップ

概要

FPGAを搭載したAWSの仮想サーバ "F1インスタンス"について、基礎知識と操作について学んで頂くためのワークショップです。AWSの基本的な操作から、FPGAによるアクセラレーション、SDAccelによる開発環境を、実際に触れて体験頂けます。

日時 2018年7月2日(月) 13:30-17:30 (13:00開場)

開催場所アマゾンウェブサービスジャパン株式会社目黒アルコタワー14 階

対象者クラウド上でFPGAを用いてアクセラレーションしたい人、AWS初心者、FPGA初心者も歓迎です

参加費無料

定員 25名 (先着順)

主催ザイリンクス株式会社・アマゾンウェブサービスジャパン株式会社

https://connpass.com/event/89928/


@[email protected]

ありがとうございました

amazon ec2 f1 インスタンス• f1ハードウェアキット (hdk)を使して、...

Documents