Enhancing intra-node Multi-GPU stencil calculations on DGX-2 using concurrent-addressing with Unified Memory

DGX-2におけるUnified Memoryを用いた連続アドレス実装によるイントラノード複数GPUのステンシル計算の高度化

長谷川 雄太   ; 小野寺 直幸   ; 井戸村 泰宏   

Hasegawa, Yuta; Onodera, Naoyuki; Idomura, Yasuhiro

原子力機構におけるCityLBMプロジェクトでは、AMR(Adaptive mesh refinement; 適合細分化格子法)に基づく実時間都市風況予測コードの開発を行ってきた。次世代のCityLBMコードにおいては、予測の信頼性を向上するためにアンサンブル計算の導入が求められている。このためには、メモリ使用量を1つの計算あたり1ノードないし416GPUの規模に抑える必要がある。本研究では、AMRコードにおけるメモリ使用量の削減およびデータ通信の高速化を目的として、CUDAのUnified Memoryを用いたイントラノード複数GPU計算の実装を試行した。Unified MemoryへのアクセスがHBM2(同一GPU)またはNVLink(隣接GPU)から自動的に判別されるため、比較的簡便に複数GPU計算を実装することができる。等間隔格子上で3次元拡散方程式および格子ボルツマン法の複数GPU計算コードを実装し、弱スケーリングおよび強スケーリングを測定することでNVLinkの性能テストを行った。

In the "CityLBM" project at JAEA, a real-time AMR (adaptive mesh refinement)-based urban wind prediction code was developed. Towards the next generation of CityLBM code, ensemble simulations are needed to improve the reliability of the prediction. For this purpose, the memory usage should be shrunk into a single node or 4-16 GPUs per simulation. To reduce the memory usage and accelerate data communication in the AMR code, we tried an intra-node multi-GPU implementation using Unified Memory in CUDA. This approach enables easy parallel GPU implementation, because the access to Unified Memory is automatically managed via HBM2 (self GPU) or NVLink (neighbor GPU). We implemented multi-GPU calculations for a 3D diffusion equation and a lattice Boltzmann equation on uniform mesh, and tested weak/strong scalability and the performance of NVLink.