Performance portable full-f gyrokinetic simulations on exascale supercomputers

エクサスケール計算機における高性能移植性full-fジャイロ運動論シミュレーション

井戸村 泰宏   

Idomura, Yasuhiro

メニーコアCPUおよびGPUを搭載した最先端エクサスケールスーパーコンピュータである富岳とSummitにジャイロ運動論的トロイダル5次元full-fオイラーコードGT5Dを移植した。GT5Dは半陰的差分スキームに基づいており、スティフな4次元線形演算子を陰解法で計算する。そして、高速な運動論的電子に対する陰解法差分ソルバが80%以上の計算コストを占める。この陰解法ソルバはクリロフ部分空間法(GCR)によって実装されたが、大域的集団通信と袖通信がエクサスケールスーパーコンピュータにおけるボトルネックとなってきた。この問題を大域的集団通信回数を削減する省通信型クリロフ部分空間法(CA-GMRES)および反復回数や袖通信回数を削減するFP16前処理によって解決した。富岳およびSummitにおいて、新しいCA-GMRESソルバは従来のGCRソルバのそれぞれ2.8倍および1.9倍の高速化を実現し、5,760CPU/GPUまで良好な強スケーリングを達成した。

The Gyrokinetic Toroidal 5D full-f Eulerian code GT5D was ported on Fugaku and Summit, which are state-of-the-art exascale supercomputers based on many core CPUs and GPUs. GT5D is based on a semi-implicit finite difference scheme, in which a stiff linear 4D convection operator is subject to implicit time integration, and the implicit finite difference solver for fast kinetic electrons occupies more than 80% of the total computing cost. The implicit solver was originally developed using a Krylov subspace method (GCR), in which global collective communication and halo data communication were bottlenecks on exascale supercomputers. This issue was resolved by a communication-avoiding Krylov subspace method (CA-GMRES), which reduces the number of global collective communication, and a FP16 preconditioner, which reduces the number of iterations and thus halo data communication. On Fugaku and Summit, the new CA-GMRES solver respectively achieved and speedups from the conventional GCR solver, and excellent strong scaling was obtained up to 5,760 CPUs/GPUs.