世界で選ばれている dell emc poweredge サーバとhci · 2020. 9. 4. ·...

64
1 インフラ担当が知るべき「 AI との付き合い方」 そもそも AI って なんですか? Data Center Compute Engineer Tomohiro Nakamura

Upload: others

Post on 30-Dec-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

1 1

インフラ担当が知るべき「AIとの付き合い方」~ そもそもAIってなんですか? ~

Data Center Compute EngineerTomohiro Nakamura

Page 2: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

2

AIって、何でしょうか?

Page 3: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

3

専門家の間でさえAI(人工知能)の定義が定まっていない。。なので、一般人の人工知能に対するイメージはなおさら曖昧!

~ AI効果 ~人口知能で新しいことが実現され、その原理が分かってしまうと、「それは知能ではない」と思ってしまう人間心理を「AI効果」と呼ぶ。

Page 4: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

4

人口知能(AI)は「幻滅期」

日本におけるテクノロジーのハイプサイクル:2019年(出典:ガートナー ジャパン)

Page 5: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

5

そんなわけで、AIについては一旦置いといて

ディープラーニングについて考えましょう

Page 6: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

6 6

今回のゴール

1.ディープラーニングのビジネスの可能性を知る。

2.ディープラーニングの概要を掴む。

3.インフラ担当なので、ハードウェア選定(提案)ができるようになる。

Page 7: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

7

そもそも、なんでそんなにディープラーニングって注目されてんの?

Page 8: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

8

そして、可能性

汎用性※

※様々な業界、分野を問わず実用性があるという意味での汎用性。現存のディープラーニング自体は1つの問題・課題に対して、1つのモデルで解決のための優れた実力を発揮する 「特化型AI」 と呼ばれるもの。例えば、画像解析用のAIでも、物体検知と不良品検出ではとの特性が異なる。よって、ある意味では汎用性が低いとも言える。

Page 9: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

9

ディープラーニングの応用範囲は無限大!画像認識文章の自動仕分け音声認識機械翻訳チャットボット画像信号処理ロボット制御...

入力 出力実現する機能

Page 10: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

10

不良品検出(工場生産部品の検品)、不良品検出(食品製造ラインにおける不良品検出)、予兆検知/予防保全、バラ積みピッキング、自動運転、ロボットタクシー、胃がん検出する内視鏡画像診断支援、大腸内視鏡検査支援、広角眼底画像を用いた網膜はく離判定支援、創薬生産性向上、ゲノム解析、がん罹患者個々人に最適化された医療尾、ゲノム医科学用供用スーパーコンピュータ利用環境整備、着衣介助、“介助コーチング”への応用、コンクリートひび割れ検出、舗装道路損傷判断、橋梁内部の損傷度合い推定、送電線点検、トンネル切羽や掘削のり面の地質評価、産業廃棄物選別、防犯・監視、タクシー需要予測、来店者情報把握、無人コンビニ検証、双腕型マルチモーダルロボット、物流画像判別、倉庫運用最適化、収穫・仕分け支援、ピンポイント農薬散布、株価予測、不正取引検知、講義動画内「先生の声/黒板の文字」検索対象化、採点支援、ユーザーコメント分析、画像商品検索、レコメンド、出品監視、音声認識、チャットボット...

Page 11: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

11

ディープラーニングの世界市場の売上予測

市場情報はトレーニングでのみご提供しております

Page 12: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

12

• 他人の感情を読み取れない障害を持つ自閉症の子• AIを活用して感情を理解することが可能に

Page 13: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

13

ディープラーニング・ベースの開発フロー(PDCA型)

・ 仕様策定

・ 入出力・ネットワークアーキテクチャ設計

・ データ収集、データ修正

・ 学習(モデルのテスト・改善)

・ テストデータで評価

今までとは異なる開発、成果の考え方今までの開発フロー(ウォーターフォール型)

・ 仕様策定

・ 設計(機能分解による設計)

・ 実装

・ デバッグ

・ コンパイル

・ 調整

・ 品質保証

Page 14: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

14

ここまでのまとめ(インフラ担当として知っておくこと)

1.AIの定義って非常に曖昧(何でも出来そうなイメージだけど、向き・不向きがある。業務プロセスの改善や簡単なルールベースのプログラムを活用するだけで課題を解決するケースも)

2.ディープラーニングの可能性はすごい!(でも、開発から成果(アウトプット)に対する考え方が今まででとかなり違う)

3.ディープラーニングにはとにかくデータが重要!(ということは、それを格納しておく場所も必要ですよね?)

Page 15: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

15

そもそもディープラーニングってどんな技術?

Page 16: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

16

人工知能、機械学習、ディープラーニング

人工知能

機械学習

Deep Learning

人口知能がもっとも包括的な概念(厳密な定義はなし)

機械学習はその中の一つの分野

ディープラーニングは機械学習のアルゴリズムの一つ

Page 17: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

17

ディープラーニングはデータの特徴量(注目すべきデータの特徴)を自動で発見しながら学習

機械学習を用いる場合、特徴量を決めるのは人間(しかもその道のプロ)が行う必要がある。よって、性能は特徴量を選択する人間の経験と知識がものをいう職人芸のような一面もある。

機械学習特徴を定義してデータ分析

𝑁𝑁 × 𝑁𝑁

Bob

ニューラルネットワーク

𝒇𝒇𝟏𝟏,𝒇𝒇𝟐𝟐, … ,𝒇𝒇𝑲𝑲輪郭眼の間隔鼻の幅眼窩の深さ頬骨の骨格顎線の長さ…etc.

クラス分けアルゴリズムサポートベクターマシン(SVM)ランダムフォレストナイーブベイズ決定木ロジスティック回帰アンサンブル法

𝑁𝑁 × 𝑁𝑁

Bob

Deep Learningデータから特徴を抽出して分析

Page 18: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

18

ILSVRCの歴代チャンピオンの成績

0.28

0.26

0.16

0.12

0.07

0.036 0.03 0.023

0

0.05

0.1

0.15

0.2

0.25

0.3

2010 2011 2012 2013 2014 2015 2016 2017

(認識エラー率)

(年)

ディープラーニングの登場

人間の認識率4%を抜く

AlexNet ZFNet GoogLeNet ResNet Ensemble SENet

Page 19: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

19

https://pjreddie.com/darknet/yolo/

Page 20: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

20

ディープラーニングの様々な手法

CNN(Convolutional Neural Network):画像認識に適したもの- 畳み込みニューラルネットワーク- 画像認識、物体識別、セグメンテーション など

RNN(Recurrent Neural Network):時系列データに適したもの- 再帰型ニューラルネットワーク- 機械翻訳、音声認識 など

深層生成モデル:データの生成過程をモデル化する- VAE(Variational Auto-Encoder、変分オートエンコーダ)- GAN(Generative Adversarial Network、敵対生成ネットワーク)- 本物のような画像や音楽などを生成する

深層強化学習:行動を学習する- 強化学習にCNN等を組み合わせる方法- DeepMindのAlphaGoが有名- ゲームが上達する、ロボットを動かす

Page 21: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

21

体操の技を連続してスムーズに実行(出典:Boston Dynamics/YouTube)

Page 22: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

22

ディープラーニングのご先祖様、人口ニューロン

脳の神経細胞

入力x1

入力x2

入力x3

重みw1

重みw2

重みw3

人口ニューロン

出力yしきい値θ

樹状突起 シナプス 軸索

Page 23: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

23

外出(買い物)するかを判別する分類器緊急事態宣言発令の有無

近所かどうか

今、必要か

重みw重みw

重みw

外出(買い物)するかどうかしきい値θ

緊急事態宣言発令の有無:無

近所かどうか:近所

今、必要か:必要

-5+1

+3

≧0

=0

=1

=1

( 0 × -5 ) + ( 1 × 1 ) + ( 1 × 3 ) = 4しきい値の条件を満たしている

近所だし、必要なものなので外出(買い物)する

外出(買い物)するかどうか

Page 24: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

24

ニューラルネットワーク(1960~1990頃) ディープラーニング(2006)

2.インターネットを通じて、大量の学習データが入手可能になった

1.GPUの登場(性能向上)によって高速に並列演算が可能となった

実現を可能にした二つ大きなテクノロジー

1~2の中間層 3~1000以上の中間層大規模ニューラルネットワークの学習により大幅に性能向上

Page 25: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

25

Page 26: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

26

ビッグウェーブがキてる!?

Page 27: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

27

そもそも何故、ディープラーニングにはGPUが良いのか?

Page 28: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

28

ディープラーニングの処理概要

人物

90% 人物8% 信号機

入力データ(教師付き)

分類別出力

“ニューラルネット” 数学モデルを生成

学習モデル

新規入力データ

分類別出力

学習済みのニューラルネットワーク

97% 人物

Step 1: 学習データセンタ内部 – 数時間/数日/数週間

Step 2: 推論 (スコアリング)エンドポイント/データセンタ – 即時!!

要件 大きなバッチサイズの行列演算、高スループット演算の精度 「FP32」「FP16」の浮動小数点演算

要件 小さなバッチサイズ、低レイテンシ演算の精度 8ビットの整数演算、「FP8」相当の浮動小数点

演算

Page 29: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

29

CPU : 連続的で複雑な処理が得意GPU : 大量の単純な計算(並列実行)が得意

GPGPU(General-Purpose computing on GPU):画像処理に最適化されたGPUに計算エラーを修正する機能(ECC)などを充実させ、その計算精度を科学計算にも使えるレベルにまで引き上げたもの。

ディープラーニング実装用のライブラリのほぼ全てがNVDIA社製のGPU上での計算をサポート。(逆にNVIDIA社製以外のものはサポートしていないライブラリも多い)

Page 30: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

30

GPUを使ったデモ動画はトレーニングでのみご提供しています

Page 31: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

31

ここまでのまとめ(インフラ担当として知っておくこと)

1.ディープラーニングは「特徴表現学習」を行う機会学習アルゴリズムの一つ

2.ディープラーニングを実現した要素の一つに、ハードウェアの進化(GPUの登場(性能向上)、そこにサーバー有!)

3.もう一つの要素に、インターネットを通じて大量の学習データが入手可能となったという事(大量のデータ、そこにストレージ有!)

Page 32: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

32

では、何を基準にハードウェアを選定すれば良いのか?

Page 33: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

33

VSPowerEdge C4140

Page 34: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

34

C4140(オンプレ) vs AWS コスト比較2020/1/6 時点 EC2 P3インスタンス 価格表

P3.8xlargeと同等構成のC4140の場合(NVIDIA V100 x4 構成)

コスト比較情報はトレーニングでのみご提供しています

Page 35: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

35

DellEMC、Google、IntelなどのIT企業とUC Berkeley(カリフォルニア大学バークレー校)や米スタンフォード大学などの大学・研究機関が連携して策定した機械学習ベンチマーク。学習用(Training)と推論用(Inference)がある。

コンピュータの公平で意味のあるベンチマークを作成することを目指して設立された非営利団体(Dellも参画)。SPECint、SPECfpなどの性能指標を参考にサーバーエンジニアは機器選定を行う。

Page 36: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

36

CPU GPU AI専用チップ(IPU / TPU)FPGA

何故 MLPerf が必要なのか?

学習と推論で求められる要件が異なる。また、アクセラレーター(デバイス)の種類によって仕組みも大きく異なるので、事前の性能比較が難しい状況だった。

Page 37: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

37

MLPerf(トレーニング)ベンチマーク・カテゴリ分野 画像認識 物体認識

(重量)物体認識(軽量)

翻訳(再帰)

翻訳(非再帰)

強化学習

データセット ImageNet COCO COCO WMT E-G WMT E-G N/A

モデル ResNet-50 v1.5

SSD Mask-R-CNN GNMT Transformer Minigo

MLPerf Training v0.6 Benchmarks

Dell EMCブログ:MLPerf Training v0.6 を使用したV100 GPUでのディープラーニング・パフォーマンスhttps://www.dell.com/support/article/jp/ja/jpbsd1/sln319504/deep-learning-performance-on-v100-gpus-with-mlperf-training-v0-6-benchmarks?lang=en

Page 38: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

38

深層学習フレームワークTensor Flow- 機械学習に関するフレームワーク- Googleによって開発された

Keras- ディープラーニングに特化したTensor Flowのラッパー

Chainer- Preferred Networksによって開発された国産フレームワーク※開発終了。

PyTorch- Chainer から派生したフレームワーク- Facebookによって開発された

その他、Caffe、DyNet など多数あり

MXNet- 当初はワシントン大学、カーネギーメロン大学などが中心に開発- Amazon AWSが公式サポートを表明

Page 39: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

39

MLPerf(推論)ベンチマーク・カテゴリ分野 画像認識 画像認識 物体認識 物体認識 翻訳

データセット ImageNet(224x224)

ImageNet(224x224)

COCO(1200x1200)

COCO(300x300)

WMT16

モデル ResNet-50 v1.5

MobileNet-v1 SSD-ResNet34 SSD-MobileNet-v1

GNMT

MLPerf Inference v0.5 Benchmarks

Dell EMCブログ:MLPerf Inference v0.5 を使用したT4 GPUでのディープラーニング・パフォーマンスhttps://www.dell.com/support/article/jp/ja/jpbsd1/sln319502/deep-learning-performance-on-t4-gpus-with-mlperf-inference-v0-5-benchmarks?lang=en

Page 40: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

40

ここまでのまとめ(インフラ担当として知っておくこと)

1.Cloud と オンプレ の使い分けは大事!

2.ハードウェア選定はインフラSE主導で進めましょう!(ディープラーニング用ベンチマークとしてMLPerfなど登場!)

Page 41: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

41

Why Dell EMC

Page 42: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

42

豊富なGPU(NVIDIA)サーバー・ラインナップサーバー機種名 CPU数

Tesla V100Tesla V100S Tesla T4 Tesla M10 Quadro

RTX8000Quadro RTX6000

DSS8440 4,8,10 8,12,16 - 4,8,10 4,8,10PowerEdge R940xa 4 - - - -

PowerEdge C4140 4 - - - -

PowerEdge R840 2 2 - - -

PowerEdge R740/xd 3 6 2 3 3PowerEdge R7525 3 6 - 3 3PowerEdge R6525 - 3 - - -

PowerEdge C6525 - 1 - - -

PowerEdge R640 - 3 - - -

PowerEdge T640 4 - 4 4 4PowerEdge R7515 1 4 - - -

PowerEdge R6515 - 2 - - -

Page 43: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

43

GPUサーバー選定ガイド(情報ガイドステーション)https://japancatalog.dell.com/c/gpu-server_guide/

Page 44: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

44

Dell EMC DSS 8440 :「機械学習専用サーバー」4Uラック筐体に最大10基のアクセラレーターを搭載

DSS 8440 server

• 最大10基、アクセラレーテッドコンピューティングに特化した機械学習専用サーバー

– 最大10基のNVIDIA Tesla V100 GPU– 最大16基のNVIDIA Tesla T4 GPU– Graphcore C2 IPUを最大8基搭載(個別提供、公式ブログで情報公開中)

• 圧倒的なサーマル性能で、TDP 205W CPU構成でも35C環境で10 GPUをフル稼働可能

• 学習データの高速な移動も最大10ドライブのローカルストレージで実施(NVMe, SAS, SATA)

• InifiniBandなど高速ファブリックI/Oをサポート(8スロットの PCIe Gen3)

ディープラーニングの学習フェーズをはじめ、広範囲な高負荷ワークロードに最適

Page 45: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

45

1,216 independentIPU-CORESTMeach with IN-PROCESSOR-MEMORYTM tile>100GFLOPS per IPU-CORETM

>7,000 programs executing inparallel300MB IN-PROCESSOR-MEMORYTM

45TB/s memory bandwidth per chipthe whole model held inside the processor

8TB/s all to all IPU-EXCHANGETMnon-blocking, any communication pattern

PCIe Gen4 x1664GB/s bi-directional host communicationbandwidth

10xIPU-LINKSTM320GB/s chip-to-chipbandwidth

COLOSSUS GC2The world's most complex processor chip with 23.6 billion transistors

45

Page 46: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

46

C2 IPU-PROCESSOR PCIe CARDIPU-LINKSTM

GC2IPU PROCESSOR

GC2IPU PROCESSOR

PCIe Gen4.0 x16 Interface

IPU-Links

Page 47: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

47

PowerEdge C4140: 国内の導入事例も続々登場冷却性能・熱対策が高評価の1U 4GPUサーバー

前面吸気

排気

NVLink

PCIe

GPUの配置は吸気口直下に

熱が滞留しづらい設計

https://i.dell.com/sites/doccontent/corporate/case-studies/ja/Documents/2018_dellemc_rozetta_h17150_jp_2018-07-19.pdf

NVIDIA Tesla V100, P100, P40 搭載可能

Page 48: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

48

異なるワークロード向けの複数のコンフィギュレーションPC

Ie構

成N

VLin

k構

PCH

PCI1PCI2PCI3

CPUCPU

x4

PLX

GPU GPUGPU GPU

PCH

PCI1PCI2PCI3

CPUCPU

x4

PLX

GPU GPUGPU GPU

PCH

PCI1PCI2PCI3

CPUCPU

x4

GPU GPUGPU GPU

PCH

PCI1PCI2PCI3

CPUCPU

x4

Configration-B

Configration-M

Configration-C Configration-G

GPUGPU

GPU GPU

NVLink

NVLink GPU x4

Page 49: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

49

Dell EMC Ready Solutions for AI(Deep Learning with NVIDIA)

• ユースケースに基づく最適化とチューニングおよびガイダンス

• データサイエンス, IT および事業部門間のギャップを橋渡し支援する

• サーバからソフトウエアスタックまで最適化されたソリューション

NVIDIA® Tesla® V100 GPUを採用して100 テラFLOPSを実現

NVIDIA NVLink™ で複数のV100 GPUを 300 GB/s の転送速度で接続し、30倍の推論速度を達成

より速く、より良く、より深い洞察力

Page 50: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

50

Deep Learning with NVIDIA ソリューション概要データサイエンティストはJupyter Notebook内のさまざまなディープラーニングモデルを用いて開発、学習、推論を行うことができます。

データサイエンティストはSlurmジョブスケジューラを介してジョブをシステムに送信することもできます。Slurmはデフォルトでソリューションにインストールされます。

ユーザーまたはデータサイエンティストによって開発されたディープラーニングアプリケーションのセット。

TensorFlow, MXNet, Caffe2, CUDA, cuDNN, NCCL が含まれています。.これらのフレームワークとライブラリの最新バージョンは、ソリューションに統合されています。マスターノード、計算ノード、共有ストレージ、

および高速ネットワークを備えたクラスタ。マスターノードは PE R740xd、各計算ノードはNVIDIA Tesla GPU搭載のPE C4140、ストレージは Isilon をNFS(Network File System)で接続、ネットワークはMellanox InfiniBand EDRです。

* https://slurm.schedmd.com/quickstart.html

https://www.emc.com/collateral/technical-documentation/h17354-dl-architecture-guide.pdf

Page 51: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

51

導入作業の短縮

設計

OS

導入

GPU

導入

DL

フレームワーク

導入

リソース

スケジューラ

開発ツール

(JupyterNoteBook)

設計

OS

導入

BrightCluster

導入

*サーバ台数※クラスタ構成

Cluster

ノード展開

RSなし

RS

Dell導入サービス

Page 52: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

52

Deep Learning with NVIDIA 操作画面IT管理者向け

データアナリスト向け

Page 53: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

53

AI Experience Zone目的

Dell Technologies の AI および Data Analytics ポートフォリオ紹介AI ソリューションの具体的な操作/運用イメージ (データサイエンティスト/IT運用管理者)簡単な検証/評価作業の支援環境エコパートナと連携して多様なニーズに対応

主なソリューション Ready Solutions for AI - Deep Learning with NVIDIA Intel Nauta NVIDIA NGC H2O.ai Cloudera splunk Bitnami※ 一部デモはコンテナ(Docker)環境にて動作※ エコパートナのソリューションは追加/変更されます。最新の情報については、お問い合わせください。

Page 54: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

54

世界クラスの HPC and AI Innovation Lab

13,000 square foot facility with 1300+ servers and ~10PB storage

ZenithTOP500 レベルのシステムwith INTEL OPA(OpenHPC, etc)

About 400 ノード + 64 DCLCXeon 6248/8280 2CPU

Rattlerwith Mellanox EDRwith nVIDIA

About 80 ノードXeon 6148 2CPU

32x ノード128x Tesla V100

Minervawith MellanoxAbout 80 ノード

4xROME 7742 2CPU40x ROME 7452 2CPU20x ROME 7702 2CPU8x ROME 7502 2CPU6x ROME 7402 2CPU4x ROME 7302 2CPU

Napleswith MellanoxAbout 40 ノード

32x Naples 7601 2CPU5x Naples 7551 2CPU2x 7351P 1CPU480TB NFS / 960TB Lustre

Page 55: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

55

パフォーマンス部分だけ気にすれば良いのか?

NO!インフラ担当として、以下の点も抑えましょう!

運用・管理:システムのサイロ化は防ぎましょう。統合的なシステム管理が望ましいです。

サポート:他、コンポーネント含めて一元的な窓口が望ましいです。

Page 56: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

56

PowerEdge サーバの新たなシステム管理機能

iDRAC Quick Sync 2BLEによるPowerEdgeサーバの第2世代モバイル管理:AppleおよびAndroid

接続ビューサーバのI/Oポートが外部のスイッチおよび

ポートに正しく接続されているかどうかを迅速にチェック

iDRAC9HTML5とClarity C4スタイル フォーマット

を使用して再設計されたiDRAC GUI

組み込みSupportAssist

iDRAC9

全サーバにSupportAssist機能迅速な問題の診断と修正のためのサービスエクスペリエンスを自動化

次世代型コンソールOpenManage Enterprise統合かつ自動化されたシンプルな

次世代コンソール

BIOS

iDRAC

RAID

システム ロックダウン悪意のある変更または不注意による変更

から、サーバの構成とファームウェアを保護

標準組み込みのGroup ManageriDRAC GUIによるPowerEdgeサーバの

シンプルなビルトイン自動監視/インベントリ

システム消去ストレージ ドライブとシステム情報を確実かつ即座に消去して、サーバを

迅速に転用、廃棄可能に

Page 57: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

57

「Dell EMCの管理コンソールを使いたい」

「既存のの3rd パーティ製コンソールからサーバーを

管理したい」

「APIやスクリプトを使ってIT環境を管理したい」

いずれのお客様の声もDell EMCは製品開発に反映

60%がサーバーベンダーを決定するにあたり、そのベンダーが提供するシステム管理ツールを重視すると回答。※Dell独自の調査

Page 58: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

58

ここまでのまとめ(インフラ担当として知っておくこと)

1.PowerEdgeシリーズはGPU(NVIDIA)サーバーのラインナップも豊富!(AIソリューションやML/DL専用サーバーも有!)

2.デモや無償で利用できるPOC環境も提供!(積極的に活用して案件獲得のお手伝いさせて下さい!)

3.運用・管理、サポート面もハードウェア選定の重要な要素!

Page 59: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

59

事例

Page 60: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

60https://www.newsday.com/business/walmart-levittown-intelligent-retail-lab-1.30227639

April 25, 2019

A customer pulls her shopping cart past an information kiosk at the Levittown Walmart Neighborhood Market.

Page 61: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

61

「AI自動翻訳サービス」を提供するロゼッタ様の事例パワフルなAI自動翻訳サービス 『T-4OO』

(2017年11月)T-4OOVer.2リリースGPUを利用したサービス開始

翻訳精度70%から95%に向上

(2018年12月)月間売上高1億9,877万円達成

• 汎用的な機械翻訳ではなく、2,000以上の産業分野に特化した

AI機械翻訳サービスを2,000社以上に提供

• 国内でいち早く NDIVIA Tesla V100 を使った高性能な

ディープラーニングが行える基盤 Dell EMC PowerEdge C4130/C4140 を導入、他社との差別化、サービス品質向上を実現し、飛躍的にビジネスが拡大

株式会社ロゼッタ

https://www.rozetta.jp/

開発本部 木村浩康氏• パブリッククラウドではなくオンプレミスの理由

- GPUインスタンスの料金体系- インスタンスの提供エリア- アーキテクチャが選べないためパフォーマンスが出ない- 新しいGPUへ対応に時間がかかる(特に日本リージョンは対応が遅い)

• Tesla V100: 歴代のGPUを使ってきたがディープラーニング向けとしては最強

• PowerEdge C4140: よく冷え高さもコンパクト、Skylake対応でPCIeのレーン数に余裕がある - うっとりするくらい良い機種

月別売上高推移 (14年3月~18年12月)

Page 62: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

6262

今回のゴール1.ディープラーニングのビジネスの可能性を知る。

非常に成長率の高い市場。本格的な普及期(実用段階)に入ってきた!

2.ディープラーニングの概要を掴む。CNN、RNN、深層強化学習などの様々な手法があり、現在も次々と新しい手法やモデルが研究開発されている。

3.インフラ担当なので、ハードウェア選定(提案)ができるようになる。DELL EMCが提供している様々な事例やベンチマーク(MLPerf)などの情報、無償で提供しているデモやPOC環境を活用しましょう!

Page 63: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ

63

本日ご紹介した製品・ソリューション・事例

<情報ガイドステーション>https://japancatalog.dell.com/c/ent/

・PoweEdgeサーバー選定・構成ガイドhttps://japancatalog.dell.com/c/poweredge-server_guide/https://japancatalog.dell.com/c/pesvr-config-guide/

・GPUサーバー選定ガイドhttps://japancatalog.dell.com/c/gpu-server_guide/

・機械学習(ディープラーニング)用の業界標準ベンチマーク 「MLPerf」 が登場!https://japancatalog.dell.com/c/isg_dl_mlperf/

・機械学習用モンスターマシン 「DSS 8440」 がついにリリース!https://japancatalog.dell.com/c/isg20190613/

・GPUのために設計されたサーバー「PowerEdge C4140」 の実績と実力!https://japancatalog.dell.com/c/isg_blog_c4140/

・System Managementhttps://japancatalog.dell.com/c/ent_SystemManagement/

・Dell EMC HPCイノベーションラボのご紹介http://japancatalog.dell.com/c/isg_hpc/

<AIハンドブック>http://japancatalog.dell.com/c/wp-content/uploads/AI-HandBook_2020April.pdf※Deep Learning with NVIDIA や AI Experience Zoneの紹介有。

<事例>・株式会社ロゼッタhttps://i.dell.com/sites/doccontent/corporate/case-studies/ja/Documents/2018_dellemc_rozetta_h17150_jp_2018-07-19.pdf

・Enihttps://blogs.nvidia.co.jp/2019/11/22/eni-gpus-supercomputer/

・Walmarthttps://www.newsday.com/business/walmart-levittown-intelligent-retail-lab-1.30227639

・Dell Technologies(自社事例)https://www.cio.com/article/3481637/reducing-service-part-costs-with-a-machine-learning-pooling-model.html

<White Paper>https://www.dellemc.com/resources/en-us/asset/white-papers/solutions/h18298-distributed-deep-learning-infrastructure-for-autonomous-driving.pdf

Page 64: 世界で選ばれている Dell EMC PowerEdge サーバとHCI · 2020. 9. 4. · の定義って非常に曖昧(何でも出来そうなイメージだけど、向 き・不向きがある。業務プロセスの改善や簡単なルールベースのプ