Development of exascale full-f gyrokinetic simulation on Summit and FUGAKU

Summitと富岳におけるエクサスケールfull-fジャイロ運動論的シミュレーションの開発

井戸村 泰宏   

Idomura, Yasuhiro

ジャイロ運動論的トロイダル5次元full-fオイラーコードGT5Dはスティフな線形4次元移流演算子に陰解法時間積分が適用する半陰解法差分スキームに基づいており、高速な運動論的電子の陰解法差分ソルバが全体の80%以上の計算コストを占める。この陰解法ソルバは元々クリロフ部分空間法を用いて開発されたが、大域的集団通信と袖通信が最新の演算加速環境におけるボトルネックとなってきた。この課題を解決するために、新しい半精度前処理を用いて収束特性を向上し、反復回数と通信回数を一桁削減した。富岳で新たにサポートされた半精度SIMD演算を活用して半精度前処理を用いた省通信ソルバを開発し、これをSummitにも移植した。新しい省通信ソルバによって富岳とSummitの両方で大幅な性能向上を達成し、開発手法の性能移植性を示した。

The Gyrokinetic Toroidal 5D full-f Eulerian code GT5D is based on a semi-implicit finite difference scheme, in which a stiff linear 4D convection operator is subject to implicit time integration, and the implicit finite difference solver for fast kinetic electrons occupies more than 80% of the total computing cost. The implicit solver was originally developed using a Krylov subspace method, in which global collective communications and halo data communications were becoming bottlenecks on the latest accelerator based platforms. To resolve this issue, the convergence property is improved by using a new FP16 preconditioner, and an order of magnitude reduction of the number of iterations and thus, communications was achieved. A communication-avoiding (CA) solver based on the FP16 preconditioner was developed by utilizing the new support for FP16 SIMD operations on FUGAKU, and was ported also on Summit. The new CA solver showed significant speedups both on FUGAKU and SUMMIT, and its performance portability was demonstrated.