アンサンブルカルマンフィルタを用いた都市風況解析のためのパラメータ最適化

小野寺 直幸; 井戸村 泰宏; 長谷川 雄太; 朝比 祐一; 稲垣 厚至*; 下瀬 健一*; 平野 洪賓*

計算工学講演会論文集(CD-ROM), 28, 4 Pages, 2023/05

我々の研究グループでは、都市全域を含む広域の風況場から細かな路地等を捉えたマルチスケールの風況シミュレーションコードCityLBMの開発を進めている。CityLBMは、格子ボルツマン法に適合細分化格子を適用した省メモリ化、および、GPUスーパーコンピュータによる高性能計算により、数km四方に対してリアルタイムのアンサンブルシミュレーションが可能となる。一方、実現象には、モデル化できない複雑な境界条件が含まれているため、観測データをシミュレーションに反映させるためのデータ同化技術が必要である。本研究では、現実の風況を再現するために、アンサンブルカルマンフィルターに基づく地表面温度バイアスの最適化手法を提案した。CityLBMの検証として、東京都心部を対象とした観測システムシミュレーション実験を実施し、地表面近傍の温度から、境界条件として与えている地表面温度を推定する。

格子ボルツマン法と局所アンサンブル変換カルマンフィルタ(LBM-LETKF)による3次元乱流データ同化

長谷川 雄太; 小野寺 直幸; 朝比 祐一; 井戸村 泰宏

第36回数値流体力学シンポジウム講演論文集(インターネット), 5 Pages, 2022/12

格子ボルツマン法と局所アンサンブル変換カルマンフィルタ(LBM-LETKF)による乱流のアンサンブルデータ同化をGPUに実装し、精度の検証を行なった。32GPUを用いて、格子点数2.3、アンサンブル数32の条件で、3次元角柱周りの流れ対してデータ同化実験を実施した。本実験におけるデータ同化の時間間隔は、カルマン渦周期の半分に設定した。精度として、揚力係数の誤差(normalized mean absolute error; NMAE)を測定したところ、データ同化なし、ナッジング法(より単純なデータ同化手法)による同化、およびLETKFのそれぞれにおいて、誤差は132%, 148%、および13.2%であった。これにより、観測頻度が低い本計算条件においては、ナッジング法のような簡易な手法では解に系統的な遅れが現れてデータ同化の精度を保つことができない一方で、LETKFでは良好なデータ同化精度を示すことが確認できた。

Performance portable Vlasov code with C++ parallel algorithm

朝比 祐一; Padioleau, T.*; Latu, G.*; Bigot, J.*; Grandgirard, V.*; Obrejan, K.*

Proceedings of 2022 International Workshop on Performance, Portability, and Productivity in HPC (P3HPC) (Internet), p.68 - 80, 2022/11

https://doi.org/10.1109/P3HPC56579.2022.00012

本論文では、C++ parallel algorithmによる性能可搬な運動論的プラズマシミュレーションコードの実装について論じる。言語標準の並列アルゴリズムstdparと抽象的高次元配列mdspanにより、可読性および生産性を損なわずに性能可搬な実装が可能であることを示す。Intel Icelake、NVIDIA V100およびA100 GPUにおいて、アプリケーションの性能はKokkos版に対し 20%の範囲であった。将来的にAMDやIntel GPUにおいて利用可能になるという前提であれば、C++ parallel algorithmはエクサスパコンにおいて有力な高生産かつ性能可搬な実装手法となり得る。

適合細分化格子ボルツマン法に基づく都市風況解析コードのNVIDIA及びAMDのGPUにおける性能移植性評価

朝比 祐一; 小野寺 直幸; 長谷川 雄太; 下川辺 隆史*; 芝 隼人*; 井戸村 泰宏

計算工学講演会論文集(CD-ROM), 27, 5 Pages, 2022/06

都市風況解析コードCityLBMをAMD社のMI100 GPUへと移植し、CityLBMの性能をNVIDIA P100, V100, A100およびAMD MI100において測定した。ホスト間でのMPI通信を利用した場合、CityLBMの性能はMI100においてV100と比べ20%程度向上した。適合細分化格子法に起因する補間カーネルを除く演算カーネルでは、MI100においてV100と比べ性能向上を確認した。

GPU optimization of lattice Boltzmann method with local ensemble transform Kalman filter

長谷川 雄太; 今村 俊幸*; 伊奈 拓也; 小野寺 直幸; 朝比 祐一; 井戸村 泰宏

Proceedings of 13th Workshop on Latest Advances in Scalable Algorithms for Large-Scale Heterogeneous Systems (ScalAH22) (Internet), p.10 - 17, 2022/00

https://doi.org/10.1109/ScalAH56622.2022.00007

格子ボルツマン法(LBM)に基づく数値流体力学シミュレーションおよび局所アンサンブル変換カルマンフィルタ(LETKF)によるアンサンブルデータ同化をNVIDIA A100 GPU搭載スパコンに対して実装し、および最適化した。LBMとLETKFの協働のため、データ転置通信を実装し、LETKFのデータ依存性に基づいて計算,ファイルI/O、および通信のオーバーラップにより通信を最適化した。2次元等方乱流,アンサンブル数,格子点数の条件において、通信を最適化した実装は、LETKFを並列化しない単純な実装に対して3.85倍の高速化を達成した。LETKFの主要な計算カーネルはの実対称密行列の固有値分解であり、その計算のため、バッチ形式固有値分解ソルバEigenGを新たに開発した。EigenGによるバッチ形式固有値分解は、既存ライブラリであるcuSolverに対して64倍の高速化を達成した。

AMR-Net: Convolutional neural networks for multi-resolution steady flow prediction

朝比 祐一; 畑山 そら*; 下川辺 隆史*; 小野寺 直幸; 長谷川 雄太; 井戸村 泰宏

Proceedings of 2021 IEEE International Conference on Cluster Computing (IEEE Cluster 2021) (Internet), p.686 - 691, 2021/10

https://doi.org/10.1109/Cluster48925.2021.00102

多重解像度の定常流を予測する畳み込みニューラルネットワークを開発した。本モデルは、最先端の画像変換モデルpix2pixHDに基づき、パッチ化された符合付き距離関数から高解像度の流れ場の予測が可能である。高解像度データをパッチ化することにより、pix2pixHDと比べてメモリ使用量を削減した。

データ駆動アプローチを用いた雪崩的乱流輸送現象の解析

朝比 祐一; 藤井 恵介*

プラズマ・核融合学会誌, 97(2), p.86 - 92, 2021/02

本研究では、5次元ジャイロ運動論的シミュレーションによる大規模データを、データ駆動科学的手法により解析した。まず、少数の波が支配的なコヒーレントな状態と様々な波が入り乱れる乱雑な状態の判別を、特異値分解を用いて行った。これにより突発的に起こる熱輸送現象のあとプラズマは乱雑な状態になること、乱雑さはその後自発的に減少すること、次の突発現象はそのような自己組織化の後に起きることが明らかになった。この過程はLandau減衰をはじめとする速度空間構造の変化と密接に変化していると考えられる。しかし、従来手法では5次元位相空間構造の時系列解析は不可能であった。そこでさらに主成分分析による位相空間構造データの圧縮技術を開発した。圧縮されたデータを利用しても突発的輸送が表現できることや、どのような位相空間構造が突発的輸送と関連しているかを論じる。

Compressing the time series of five dimensional distribution function data from gyrokinetic simulation using principal component analysis

朝比 祐一; 藤井 恵介*; Heim, D. M.*; 前山 伸也*; Garbet, X.*; Grandgirard, V.*; Sarazin, Y.*; Dif-Pradalier, G.*; 井戸村 泰宏; 矢木 雅敏*

Physics of Plasmas, 28(1), p.012304_1 - 012304_21, 2021/01

AA2020-0790.pdf:7.13MB

https://doi.org/10.1063/5.0023166

プラズマ乱流の運動論的シミュレーションによって得られた5次元分布関数の時系列データに主成分分析を適用した。これにより、3桁におよぶデータ圧縮を実現しつつ、83%の累積寄与率を保持できた。各主成分ごとの熱輸送への寄与を調べることで、雪崩的熱輸送には速度空間の共鳴構造が関連していることが明らかとなった。

Performance portable implementation of a kinetic plasma simulation mini-app with a higher level abstraction and directives

朝比 祐一; Latu, G.*; Bigot, J.*; Grandgirard, V.*

Proceedings of Joint International Conference on Supercomputing in Nuclear Applications + Monte Carlo 2020 (SNA + MC 2020), p.218 - 224, 2020/10

エクサスケール計算機時代には、CPUやGPUの種類を問わずに高性能を発揮する性能可搬性が重要となることが予想される。発表者は、どのような技術を活用すれば運動論的モデルを採用するプラズマ乱流コードの高可搬性実装が可能となるかを調べた。運動論的コードの例として仏国CEAで開発されたGYSELAコードに着目し、当該コードを特徴付ける高次元性(4次元以上)とSemi-Lagrangianスキームといった特徴を抽出したミニアプリケーションを作成した。発表者はミニアプリケーションをOpenACC, OpenMP4.5およびKokkosを用いて並列化し、それぞれの手法の利点,欠点を調査した。OpenACCおよびOpenMP4.5は指示行を挿入することで、Kokkosは高レベルな抽象化を行うことで性能可搬実装を実現する。発表では、生産性,可読性,性能可搬性の観点からそれぞれの手法の利点,欠点を論じる。

Synergy of turbulent and neoclassical transport through poloidal convective cells

朝比 祐一*; Grandgirard, V.*; Sarazin, Y.*; Donnel, P.*; Garbet, X.*; 井戸村 泰宏; Dif-Pradalier, G.*; Latu, G.*

Plasma Physics and Controlled Fusion, 61(6), p.065015_1 - 065015_15, 2019/05

https://doi.org/10.1088/1361-6587/ab0972

Full-fジャイロ運動論コードGYSELAを用いて輸送過程へのポロイダル対流セルの影響を調べた。この目的のために、対流セルのフィルタを適用し、フィルタ有無のシミュレーション結果を比較した。フィルタを適用することで磁気ドリフトに駆動されるエネルギー束が半減することがわかった。対流セルの周波数スペクトは乱流レイノルズ応力テンソルの周波数と対応し、対流セルが乱流によって駆動されることを示した。この対流セルの効果は乱流と新古典のダイナミクスの相互作用と考えられる。