RIKEN CENTER FOR COMPUTATIONAL SCIENCE 1

神戸大学大学院システム情報学研究科 教授

理化学研究所計算科学研究センター チームリーダー

坪倉 誠

tsubo@tiger.kobe-u.ac.jp

第3回CAEワークショップ ～スーパーコンピュータ「京」から「富岳へ」 CAEシミュレーションの最前線～

2019年12月5日（木） 14:05～14:55

秋葉原UDX

データ科学との融合による 新たな自動車CAEの創出

HPCが変えるシミュレーションの未来

高精度解析

時間解像度を高めることで、時間平均モデルからラージエディシミュレーションに

空間解像度を高めることで、乱流モデルへの依存性がより小さくなり、より高精度な予測が可能に

壁モデルを使わない高精度LES

乱流モデルを使わない直接数値解析（DNS)

これによりシミュレーションの実験代替が可能に

複雑・複合問題への対応

流体運動、熱移動、構造変形・振動が複合的に作用する複雑問題

これにより実験計測では対応が難しい実運転環境でも予測が可能に

ビッグデータ解析

実験では到底扱えない数のテストシミュレーションが実施できる

このようなデータを用いた、最適化、機械学習・深層学習等のAI学習に基づく設計が可能に

さらに実験データも活用した手法、データ同化等

RANS LES

2

スーパーコンピュータ「京」（2011～2019）

• ピークパフォーマンス：10PFLOPS

• プロセッサ数/ラック数：80,000個/800台

• プロセッサ：SPARC64TM VIIIfx

− 8Core/128GFLOPS

− メモリバンド幅: 64GB/s

− SIMD命令, 拡張レジスタ

− 6MB/12way L2キャッシュ

• ネットワーク

− TOFU：6次元メッシュ/3次元トーラス

ネットワーク

− ノード間100GB/s

3

[FLOPS] Trend of world-fastest supercomputers

Kilo

Mega

Giga

Tera

Peta

Exa

[year]

K-computer

「京」コンピュータで目指した次世代空力シミュレーション

• 「京」スパコンは会社の開発で使っている汎用スパコンの千倍速い

• 会社で同じ性能のスパコンを使えるようになるのは10年後

• いままでとは違う次世代空力シミュレーションを考えよう！ （1）超高解像度渦シミュレーション

• 風洞では観察が難しい三次元的な渦と、自動車との関係が観察できる

• 何故そうなるのか？どうすればそうなるのか？理屈がわかるようになる！

• より性能の高い車の開発が可能になる

（2）リアルワールド（実際の走行状態を再現した）シミュレーション • 風洞では再現が難しい突風や追い越し、急ハンドル時の車の運動が再現できる

• より安全で安定性の高い車の開発が可能になる

• 自動車の「作り方」そのものを変えることができる（プロセスイノベーション） – スーパーコンピューティングシミュレーションを使えば、風洞実験ではできない観察や評価が可能になる

20

4

• 非構造格子有限体積法 – 戦略的基盤ソフトウェアの開発（2002年～05年）

– HPCI戦略プログラム「分野4次世代ものづくり」

（2011～15年度）

• 京コンピュータチューニング – シングルノード性能

• OpenMPによるスレッド並列

• 行列要素のリオーダリング

• テトラ要素で7.4%、六面体要素で9.5%

– 並列性能(Metisによる領域分割)

• MPIによるノード間並列

• 16億セル、2048ノード（16384コア）で96.5%程度の並列効率（ウィークスケーリング）

– 100億セル、10,000ノード（80,000コア）程度まで対応

FrontFlow/red-HPC (FFR) 5

5 9

0.1

1

10

100

1000

10000

100000

1 8 64 512 4096 32768

GF

LO

PS

Number of cores

Tuned(OpenMP/MPI hybrid)Original(flat MPI)

高解像度シミュレーションによる高精度化へのチャレンジ 6

• 3500万要素の汎用スパコンと23億要素「京」スパコンの比較

– どの程度の解像度で風洞実験に匹敵する精度が得られるのか？

– 車体形状の変化に伴う抵抗の微妙な変化を捉えられることができるか？

総要素数 表面解像度

格子作成時間

フルテトラ （オリジナル）

3500万 2～10mm 2~3 hours

フルテトラ （細分化後）

23億 0.5～2.5mm

2~3 hours

2～10[mm] 0.5～2.5[mm]

デジタルオンロードテストの実現

• 横風突風遭遇時の車両挙動予測 – 自動車の運動、自動車の回りの流れ、ドライバーの反応をすべて組み込んだシミュレーション

– 横風時に遭遇した際、ドライバーがどのように反応し、自動車がどのように動くかが予測できる

– 青（オリジナル）と赤（改善モデル）で比較、改善モデルはハンドル操作量が少ないことがわかる

7

車両挙動（動きを10倍にデフォルメ）

車体周りの流速と表面圧力

（上：オリジナル、下：改善車）

・赤 : 部材間の隙間

・シアン: 部材同士の重合

「京」の活動で明らかになったHPCシミュレーションの本当の問題点 8

Original CAD data

5mm解像度表面ラッピング 1mm解像度の修正表面 （ほとんど手作業）

• 実車CADデータの扱いの難しさ – 大きな問題の発生しそうな場所は予め手で修正（大きな穴や空力に不必要な部品）

– 格子解像度にあわせてラッピング機能を用いて表面形状を修正

– 解像度数cm～数mmではこの方法で表面を作成（それでも1週間程度の工数）

• 解像度1mm弱の表面修正には膨大な工数（数週間）

• 大規模空力シミュレーションの産業応用の本当の鍵はここ！

スーパーコンピュータ「富岳」（2021～）

2021年頃運用予定

スパコン「京」の最大100倍の性能

Architecture: Armv8.2-A SVE 512bit

Core: 48 cores (+ 2 or 4 for OS)

Memory: HBM2 32 GB, 1024 GB/s

Network: Tofu Interconnect D

9

[FLOPS] Trend of world-fastest supercomputers

Kilo

Mega

Giga

Tera

Peta

Exa

[year]

Supercomputer FUGAKU

京で実現した高精度空力連成シミュレーション 高解像度LES解析により風洞実験に匹敵する精度の空力予測が可能に 運動連成解析により風洞実験では難しい走行安定

性・安全性評価が可能に

ポスト京で目指すリアルタイムリアルワールドシミュレーション（CUBE） １．高精度空力連成解析の抜本的加速（ターンアラウンド時間を十数日から数時間へ！）

２．流体と構造、化学反応等が連成する複合問題に対する統一的解析手法の構築 3. データ科学との融合によるシミュレーションの高度化利用

汎用スパコン（3500万セル）

「京」スパコン（23億セル）

解析の高精度化・連成化伴うターンアラウンドタイムの増加（現状、十数日） 製品のさらなる高性能化・高機能化・安全性強化に対応するための多目的最適化設計のニーズ

解析時間（8時間） 計算モデルの作成

（10分） 結果の可視化

（4時間）

ポスト京

計算モデル作成（120時間） 結果可視化（50時間） 解析時間（120時間） 京

ポスト京「富岳」に向けて 10

デザイナーによるコンセプトデザイン

衝突安全

構造・強度

空力・熱害

振動・騒音

操縦安定性

試作車の完成

デザイナ vs. エンジニア （横の衝突）

エンジニア vs. エンジニア

（縦の衝突）

エンジニアによるCAE各種性能評価

CAEを基盤とした現在の自動車設計プロセス

× ×

設計変更に伴う時間・コスト増

CAE評価では想定できなかった問題

各種性能間の調整・連携不足

ポスト京で実現する革新的設計プロセス

空力・熱害 衝突安全

振動・騒音

構造・強度

操縦安定性

デザイナーとエンジニアが連携した

コンセプトデザイン 設計段階で想定した性能の

試作車が完成 エンジニア連携によるCAE統合性能評価

多目的最適化による全体俯瞰設計

リアルタイムシミュレーションによりデザイナーの提案形状を即座に性能評価 実走状態を再現したリアルワー

ルドシミュレーションによる高信頼評価

車両運動、大気外乱

熱・空力解析 構造・タイヤ変形解析

統一連成解析

11

リアルタイムリアルワールドシミュレーションが可能にする次世代の自動車CAE

連続体統一解法 CUBE 12

複雑流体現象を大規模計算するための共通基盤シミュレーションフレームワーク

階層直交格子有限体積法

流体解析にはLESを採用した高精度解析

熱流体・構造・化学反応等が共存する複雑現象場に対してスケーラブルな連成アルゴリズム構築

トップダウンに全体が見渡せる統一的データ構造による偏微分方程式解法

連続体（流体・構造）を統一的に扱える基礎方程式

プログラムの特徴

Building Cube Method (Nakahashi et al., 2003)

プロセッサ単体性能の向上と、超並列環境に

適したデータ構造（全京で1000億セル規模）

Immersed Boundary Method (Fadlun et al., 2002)

複雑形状や移動境界に適した境界処理

Dirty CAD treatment (Onishi et al., 2013)

産業界で用いられているCADデータ（部材間ギャップやデータの重なり、厚み無しデータ）に対応した高速なモデル作成

Performance on the K computer

Hybrid OpenMP/MPI

Single node performance

16×16×16 cells per cube

23.7% on the K computer (8 threads)

Parallel efficiency

16 cubes per node

Effective parallelization ratio: 99.99954%

75.324899% parallel efficiency (weak scaling)

Total nodes on the K computer

13

CUBE num. Total cell num. Node num.

4×4×4 64 262,144 1

8×8×8 512 2,097,152 8

16×16×16 4,096 16,777,216 64

32×32×32 32,768 134,217,728 512

64×64×64 262,144 1,073,741,824 4,096

128x128x128 2,097,152 8,589,934,592 32,768

1.E+00

1.E+01

1.E+02

1.E+03

1.E+04

1.E+05

1.E+06

1.E+07

1.E+08

1.E+09

1 10 100 1000 10000 100000

GF

LO

PS

Number of nodes [-]

0

10

20

30

40

50

60

70

80

90 実行時間 [s]

others

gn_fill_corner_

cns_inflow_plug_

syscall

flow_field.flow_field_fill_corner_field_

cns_sw_noslip_

field_intf.field_intf_q_e_

cns_solver.cns_solve._OMP_2_

vscf_ce2nd_

tstep_rk3tvd_no_dt_

flux_roe_lm_

CUBE Complex Unified Building CUBE

Case1 (Base) Case2 (18'' WHL)

Case3 (18'' WHL + Aerokit) Case4 (18'' WHL + Aerokit + TGS)

Case5 (17'' OP) Case6 (17'' OP + MudGuard)

形状多目的最適化に向けた精度検証

対象フルスケールモデル Specification

Case1 Baseline (17” wheel) Case2 Case 1 + 18” wheel Case3 Case 2 + Aerokit (front/side/rear skirt) Case4 Case 3 + Tailgate spoiler Case5 Case 1 + 17” open-type wheel Case6 Case 5 + Mud guard

モデル差を把握するためにはどの程度の計算資源が必要か？

15

0

0.01

0.02

0.03

0.04

0.05

0.06EXP.

CUBE

ΔCdA (difference from the Base model) Normalized CD

0.94

0.96

0.98

1

1.02

1.04

1.06

1.08

1.1EXP.

CUBE

K.Onishi(2018)

±0.015

• LESによる非定常大規模空力解析

• 表面解像度6mm程度

• 総格子数1億程度

• 数百ノード（スパコン京）で数時間（メッシュ作成込み）

形状多目的最適化に向けた精度検証

定常空力の評価（モデル差の把握）

多目的設計探査

空力形状最適化フレームワークの構築

多目的最適化の関数評価部分に形状修正（モーフィング）・大規模空力シミュレーションを組み込み、処理を自動化

実際の自動車空力開発を想定したシステムの実証

セダン型車両模型の形状最適化

16

形状パラメータ （設計変数値）

形状データ 空力性能 （目的関数値）

多目的設計探査

空力形状最適化フレームワークの概要

世代数の入力のみで最適化が自動的に進行するプログラム

研究室内のワークステーションで実行

「京」コンピュータでの計算進行状況を監視

17

新規集団作成

形状修正実行 STLファイル出力

STLファイルを 京に送信

京のジョブ進行状況を監視

CHEETAHに 目的関数ファイルを渡す

全世代分の計算終了

プログラム実行

プログラム終了

Yes No

計算に必要な ファイルの準備

空きがなくなるまで ジョブ投入

1世代分のジョブが終了

Yes No

各ケースの空力係数を集計し目的関数ファイルを作成

目的関数ファイルを ローカルに送信

「京」コンピュータ ワークステーション

多目的設計探査

形状最適化の条件設定

4目的（すべて最小化）

正対風CD値

正対風CL値

|正対風CD値-”-3°CD値”|（=ΔCD）

|正対風CL値-”-3°CL値”|（=ΔCL）

8設計変数

形状修正の刻み幅：2mm

集団サイズ：18

12世代

18

-3°ヨー回転

主流方向

風向変化に対するロバスト性の指標

L36直交表・応答曲面法で生成した個体を含めると、

2通りの接近流風向×(L36直交表+18個体+18個体×11世代)=504ケースのLES計算を実施

※フルスケールで10mmに相当

多目的設計探査

多目的進化計算アルゴリズム (Cheetah)

JAXA 大山聖先生と連携

大域的な最適化手法

進化計算

設計パラメータを遺伝情報とする

第一世代はL36直交表と応答曲面法で得た54個体から選定

19

目的関数２

(e.g

. CL)

目的関数１ (e.g. CD)

パレート解集合

突然変異

交叉

第一世代 第二世代 第三世代

多目的設計探査

フロント仮想角・リア仮想角による整理

20

• 低CD形状はリア仮想角θRTが小さくなることに相当

• これらは既往の知見[2]と一致

[2]農沢 隆秀, 佐藤 浩, 自動車形状を持つにぶい物体の空気抵抗低減に関する形状パラメータの研究 : 第2報, ノッチバック車体の空気抵抗と後流構造, 日本機械学会論文集 B編, 1992, 58 巻, 556 号, p. 3584-3589

※上図でのデルタは0°からの差分

フロントウインドウ傾斜角θFWT

フロント仮想角θFT

リアウインドウ

傾斜角θRWT

リア仮想角θRT

基準車両： θFT = 18.9°

θRT = 16.9°

各個体の角度： θFT = 16.4°～21.2°

θRT = 13.5°～22.4°

θFWT小

θFWT大

θRT小

θRT大

低CD形状 高CD形状

CD=0.813 CD=0.970

注：空力値はNormal 0°のCUBEで計算したCD値で正規化

機械学習

リアルタイムシミュレーションに向けて

最適化空力解析結果を学習データとして活用

学習データ：18モデル/世代×6 世代 (1~6)＝108 モデル

評価データ: 18モデル/世代 x 6 世代 (7~12) ＝108モデル

入力

9つの設計変数

規格化

[min, max]=[-1, 1]

出力

Cd, DCd

規格化 [-1, 1]

21

Neural network

Max epoch 10000

Batch size 100

まとめ

データ科学との融合による新たなCAE 22

• 大規模シミュレーションの可能性 – RANSからLESへ

– 実験代替ツールから現象解明へ（「京」でできたこと）

– この先は使い方の改革（「ポスト京」で目指すこと）

• 最適化、ビッグデータ、データ同化、ディープラーニング…

• データ科学融合に向けたシミュレーションデータ構造の再考 – ケーパビリティコンピューティングからキャパシティコンピューティングへ

• 大規模な計算をスパコン一台丸々使って解析するよりも、数多くの計算を並行して解析するスタイルへ

• ソルバーの計算速度そのものよりも、メッシュ作成時間が問題になる！（モデル作成の並列化は難！）

– モデル作成における非構造格子による手法の限界

• 詳細形状再現におけるCADクリーニングやビッグデータ作成に伴うプリ処理時間（格子作成）が、長大化

22