Left-preconditioned communication avoiding CG solver for multiphase CFD code JUPITER

多相数値流体力学シミュレーションJUPITERのための左前処理省通信共役勾配法

真弓 明恵 ; 井戸村 泰宏   ; 伊奈 拓也; 山田 進  ; 今村 俊幸*

Mayumi, Akie; Idomura, Yasuhiro; Ina, Takuya; Yamada, Susumu; Imamura, Toshiyuki*

左前処理省通信共役勾配(LP-CA-CG)法を多相数値流体力学コードJUPITERの圧力Poisson方程式に適用し、京コンピュータに向けた最適化を行った。内積計算時の集団通信コストのみを削減したブロックヤコビ前処理、及び、疎行列ベクトル積や前処理での1対1通信コストも削減したアンダーラップ前処理のそれぞれを適用した2つのLP-CA-CGソルバを開発した。京コンピュータ上では局所的な1対1通信のスケールが良好であることと、アンダーラップ前処理での収束性の悪化により、ブロックヤコビ前処理ソルバで良好な性能が得られ、3万ノードまで良好な強スケーリングを示した。

The left-preconditioned communication avoiding conjugate gradient (LP-CA-CG) method is applied to the pressure Poisson equation in the multiphase CFD code JUPITER. Two LP-CA-CG solvers with block Jacobi preconditioning and with underlap preconditioning are developed. The former is developed based on a hybrid CA approach, in which CA is applied only to global collective communications for inner product operations. The latter is a full CA approach, in which CA is applied also to local point-to-point communications in sparse matrix-vector (SpMV) operations and preconditioning. CA-SpMV requires additional computation for overlapping regions. It is shown that on the K computer, the LP-CA-CG solvers with block Jacobi preconditioning is faster, because the performance of local point-to-point communications scales well, and the convergence property becomes worse with underlap preconditioning. The LP-CA-CG solver shows good strong scaling up to 30,000 nodes.