Implementation of a gyrokinetic collision operator with an implicit time integration scheme and its computational performance

前山 伸也*; 渡邉 智彦*; 井戸村 泰宏; 仲田 資季*; 沼波 政倫*

Computer Physics Communications, 235, p.9 - 15, 2019/02

http://dx.doi.org/10.1016/j.cpc.2018.07.015

陰的時間積分スキームを用いてSugama衝突演算子をジャイロ運動論的ブラゾフコードGKVに実装した。新手法はオペレータスプリッティング、陰的時間積分、クリロフ部分空間反復法ソルバを用いており、線形化衝突演算子の詳細に依存しない汎用的な手法となっている。数値計算テストでは衝突項が制限する時間ステップ幅を超えて安定な計算が実証できた。データ転置を用いることで、反復計算中に通信が発生しない分散メモリシステムにおける効率的実装を実現した。これにより、本手法は計算効率向上と計算コスト削減を同時に達成し、アプリケーションの全体性能を大きく加速する。

Communication avoiding multigrid preconditioned conjugate gradient method for extreme scale multiphase CFD simulations

井戸村 泰宏; 伊奈 拓也*; 山下 晋; 小野寺 直幸; 山田 進; 今村 俊幸*

Proceedings of 9th Workshop on Latest Advances in Scalable Algorithms for Large-Scale Systems (ScalA 2018) (Internet), p.17 - 24, 2018/11

https://doi.org/10.1109/ScalA.2018.00006

多相流体CFDコードJUPITERの圧力ポアソン方程式に省通信マルチグリッド前処理付共役勾配(CAMGCG)法を適用し、省通信クリロフ部分空間法と計算性能と収束特性を比較した。JUPITERコードにおいてCAMGCGソルバ問題サイズによらずロバーストな収束特性を有し、通信削減と収束特性向上を両立することから、通信削減のみを実現する省通信クリロフ部分空間法に対する優位性が高い。CAMGCGソルバを億自由度の大規模多相流体CFDシミュレーションに適用して反復回数を前処理付CG法のに削減し、Oakforest-PACSにおける8,000ノードまでの良好な強スケーリングとCG法の倍の性能向上を達成した。

Neoclassical transport benchmark of global full-f gyrokinetic simulation in stellarator configurations

松岡 清吉; 井戸村 泰宏; 佐竹 真介*

Physics of Plasmas, 25(2), p.022510_1 - 022510_10, 2018/02

http://dx.doi.org/10.1063/1.5010071

プラズマ輸送シミュレーションにおいて、ジャイロ運動論方程式をスケール分離を仮定せずプラズマ全体について第一原理に基づいて解く大域的full-fシミュレーション手法が注目されている。本研究では、複雑な3次元磁場形状をもつステラレータ型プラズマを大域的full-fジャイロ運動論シミュレーションコードであるGT5Dに適用するため、GT5Dの差分計算手法の拡張、及び3次元磁場平衡構築コードVMECとのインターフェースの開発を行った。開発したコード群の妥当性検証を目的として輸送に関する標準的なベンチマーク計算を行った。その結果、GT5Dが局所理論解析モデルや他の大域的新古典輸送コードの結果とよく一致することを示した。

Acceleration of wind simulation using locally mesh-refined Lattice Boltzmann Method on GPU-Rich supercomputers

小野寺 直幸; 井戸村 泰宏

Lecture Notes in Computer Science 10776, p.128 - 145, 2018/00

https://doi.org/10.1007/978-3-319-69953-0_8

本研究では、局所細分化格子を適用した格子ボルツマン法を開発した。計算コードは、東京工業大学のGPUベースのスーパーコンピュータTSUBAME3.0を用いて開発を行い、最新のPascalアーキテクチャに対して最適化を行なった。1から36ノードを用いた弱スケーリングの性能測定では、NVIDIA TESLA P100を用いたGPU計算がBroadwellによるCPU計算の10倍以上の高速化が達成された。

Application of a communication-avoiding generalized minimal residual method to a gyrokinetic five dimensional Eulerian code on many core platforms

井戸村 泰宏; 伊奈 拓也*; 真弓 明恵; 山田 進; 松本 和也*; 朝比 祐一*; 今村 俊幸*

Proceedings of 8th Workshop on Latest Advances in Scalable Algorithms for Large-Scale Systems (ScalA 2017), p.7_1 - 7_8, 2017/11

https://doi.org/10.1145/3148226.3148234

ジャイロ運動論的5次元オイラーコードGT5Dに省通信一般化最小残差(CA-GMRES)法を適用し、一般化共役残差(GCR)法を用いたオリジナルコードとの性能比較をJAEA ICEX(Haswell)、Plasma Simulator(FX100)、Oakforest-PACS(KNL)において実施した。CA-GMRES法はGCR法に比べて約3.8倍の演算密度となることから、メモリとネットワークの帯域が制限された将来のエクサスケールアーキテクチャに適合する。性能評価の結果、GCR法に比べて計算カーネルは1.472.39倍加速され、1,280ノード処理におけるデータ縮約通信は全体コストの513%から約1%に削減された。

Benchmarking of flux-driven full-F gyrokinetic simulations

朝比 祐一*; Grandgirard, V.*; 井戸村 泰宏; Garbet, X.*; Latu, G.*; Sarazin, Y.*; Dif-Pradalier, G.*; Donnel, P.*; Ehrlacher, C.*

Physics of Plasmas, 24(10), p.102515_1 - 102515_17, 2017/10

http://dx.doi.org/10.1063/1.4998015

トカマクプラズマにおける熱流駆動型のイオン温度勾配乱流を計算するために2つの大域的full-Fジャイロ運動論コードのベンチマークを行う。この目的のために、full-Fジャイロ運動論方程式を現実的な熱流束固定条件で計算するセミ・ラグランジアンコードGYSELA、および、オイラーコードGT5Dを採用する。時空間特性に注目して雪崩的な輸送現象を評価した。自己組織化臨界現象(SOC)的な振舞いを議論するために統計解析を実施し、両方のコードで高周波側でスペクトルからスペクトルへの遷移を確認した。このベンチマークに基づき、SOC的な振舞いは数値計算法に依存しないロバーストな特徴であることを検証した。

Summary of 21st joint EU-US Transport Task Force Workshop (Leysin, September 5-8, 2016)

Mantica, P.*; Bourdelle, C.*; Camenen, Y.*; Dejarnac, R.*; Evans, T. E.*; Grler, T.*; Hillecheim, J.*; 井戸村 泰宏; Jakubowski, M.*; Ricci, P.*; et al.

Nuclear Fusion, 57(8), p.087001_1 - 087001_19, 2017/08

http://dx.doi.org/10.1088/1741-4326/aa753f

本会議報告は2016年9月5日8日にスイス、レザンにて開催されたthe 21st Joint EU-US Transport Task Force Workshopにおける報告と議論をまとめたものである。ワークショップは以下の8つのトピックから構成された: full-F運動論的乱流シミュレーションの進展; 高Z、低Z不純物の輸送、制御、および、プラズマ閉じ込めへの影響; 炉心、周辺輸送への3次元効果(MHD、外部磁場、ステラレータを含む); 予測性の高いプラズマ設計; 電子熱輸送とマルチスケール統合; Scrape-Off Layer(SOL)におけるパワー減衰長の理解; L-H遷移におけるSOLの役割; 乱流計測に対する乱流基礎特性の実証研究。

Quadruple-precision BLAS using Bailey's arithmetic with FMA instruction; Its performance and applications

山田 進; 伊奈 拓也*; 佐々 成正; 井戸村 泰宏; 町田 昌彦; 今村 俊幸*

Proceedings of 2017 IEEE International Parallel & Distributed Processing Symposium Workshops (IPDPSW) (Internet), p.1418 - 1425, 2017/08

https://doi.org/10.1109/IPDPSW.2017.42

本発表では、BaileyのDouble-Doubleアルゴリズムを利用した4倍精度基本線形代数演算ライブラリ「BLAS」の高速化と、それを4倍精度固有値計算ルーチンに適用した際の計算性能の向上について発表する。特筆すべき成果は、積和演算の中間結果を高精度で保持して計算できるFMA命令を利用することで、我々がこれまでに開発した4倍精度BLASと比較し、代表的なルーチンで2045%の高速化を実現したことである。さらに、4倍精度固有値ソルバ「QPEigenK」が利用している4倍精度BLASをFMA命令を利用して開発したものに置き換えるだけで、原子力機構のICE Xおよび東京大学のFX10の2つのスパコンの大規模並列計算において1020%の高速化を実現した。この成果は、計算機の大規模化に伴って必要になりつつある高精度計算の高速な実行に資する成果である。

Performance evaluation of runtime data exploration framework based on in-situ particle based volume rendering

河村 拓馬; 野田 智之; 井戸村 泰宏

Supercomputing Frontiers and Innovations, 4(3), p.43 - 54, 2017/07

AA2017-0206.pdf:3.74MB

https://doi.org/10.14529/jsfi170302

最新のメニーコア・プラットフォーム上で、In-Situ粒子ベースボリュームレンダリング(In-Situ PBVR)に基づくIn-Situデータ探索フレームワークのパフォーマンスを検証した。In-Situ PBVRはコストの高い順序計算を回避することができ、並列モンテカルロサンプリングによって、大規模なボリュームデータを小さな可視化用粒子データに変換する。この特徴により、大規模シミュレーションのボトルネックである、1ノードあたりのメモリ制限や、計算速度とノード間通信速度のパフォーマンスギャップを回避することができる。さらに、サイズの小さな粒子データをクライアントPCに転送することによる自由な視点位置のボリュームレンダリング、そして非同期のファイルベースの制御シーケンスによるバッチ処理実行時の可視化パラメータを変更という、In-Situデータ探索が可能になった。In-Situ PBVRは、8208個のIntel Xeon Phi7250(Knights Landing)プロセッサで構成されたOakforest-PACS上で、約10万コアまでの強スケーリング(問題サイズを固定し、CPU数を増加させて処理を加速させるスケーリング)と省メモリ特性を示した。

Impact of plasma parameter on self-organization of electron temperature gradient driven turbulence

河合 智賀*; 井戸村 泰宏; 前山 伸也*; 小川 雄一*

Physics of Plasmas, 24(4), p.042303_1 - 042303_13, 2017/04

AA2017-0111.pdf:7.14MB

http://dx.doi.org/10.1063/1.4980005

ジャイロ運動シミュレーションとHasegawa-Mima (HM)方程式に基づいてスラブ電子温度勾配駆動(ETG)乱流の自己組織化を調べた。自己組織化乱流構造のスケールと異方性は、Rhinesスケールと、HM方程式の断熱応答項によって与えられる特徴的なスケールによって変化する。前者は線形波分散と非線形乱流カスケードの競合によって決定され、後者は乱流カスケードが妨げられるスケールとして与えられる。これらのスケールは、密度勾配、温度勾配、イオンと電子の温度比などのプラズマパラメータによって制御される。プラズマパラメータに依存して、ETG乱流は大きく異なる輸送レベルを与える等方的乱流、もしくは、帯状流のいずれかを示すことがわかった。プラズマパラメータにかかわらず変調不安定性が帯状流を励起するが、最終的な乱流構造は自己組織化過程によって決定される。