Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
井戸村 泰宏; Obrejan, K.*; 朝比 祐一; 本多 充*
Physics of Plasmas, 28(1), p.012501_1 - 012501_11, 2021/01
運動論的電子,バルクイオン,低Zおよび中Zのトレーサ不純物を含む大域的full-fジャイロ運動論シミュレーションを用いてイオン温度勾配駆動(ITG)乱流におけるトレーサ不純物輸送を調べた。この結果、乱流粒子輸送に加えて、乱流輸送と新古典輸送の相乗効果による拡張新古典輸送がトレーサ不純物輸送に大きく寄与することがわかった。ITGモードのバースト的励起が電子とバルクイオンの非両極性乱流粒子束を生成し、これが両極性条件に従う径電場の速い成長をもたらす。これに伴う
流の発散が磁気ドリフトによる輸送に関連する上下非対称な密度揺動を圧縮する。この密度揺動の振幅は圧縮効果と磁力線方向運動による帰還電流の競合によって決まるため、拡張新古典輸送はイオン質量に依存する。この機構は温度には働かず、粒子輸送のみを選択的に増大する。
長谷川 雄太; 小野寺 直幸; 井戸村 泰宏
第34回数値流体力学シンポジウム講演論文集(インターネット), 3 Pages, 2020/12
都市風況および汚染物質拡散解析を行うため、局所細分化格子ボルツマン法を用いた実時間アンサンブル計算コードを開発した。開発したコードを、産業技術総合研究所による風洞実験、およびオクラホマシティでの野外拡散実験JU2003と比較した。風洞実験に対する検証では、風況は実験とよく一致するとともに、トレーサ物質の濃度は、環境アセスメントガイドラインで示されている評価指標であるFACTOR2に対し、61.2%の正答率を達成した。野外拡散実験JU2003においては、風速の瞬時値は実験とよく一致したが、風向は最大で100
のずれがあった。一方で、トレーサ物質濃度の平均値は、全時間区間においてFACTOR2を満たした。以上の結果より本コードは環境アセスメントに対して十分な精度を持つことを示した。
井戸村 泰宏; 伊奈 拓也*; Ali, Y.*; 今村 俊幸*
第34回数値流体力学シンポジウム講演論文集(インターネット), 6 Pages, 2020/12
ジャイロ運動論的トロイダル5次元full-fオイラーコードGT5Dにおける半陰解法差分計算用に新しいFP16(半精度)前処理付き省通信クリロフソルバを開発した。このソルバでは、大域的集団通信のボトルネックを省通信クリロフ部分空間法によって解決し、さらに収束特性を向上するFP16前処理によって袖通信を削減した。FP16前処理は演算子の物理特性に基づいて設計し、A64FXで新たにサポートされたFP16SIMD処理を用いた実装した。このソルバをGPUにも移植し、約1,000億格子のITER規模計算の性能を富岳(A64FX)とSummit(V100)で測定した。従来の非省通信型ソルバに比べて、新しいソルバはGT5Dを
倍加速し、富岳とSummitの両方で5,760CPU/GPUまで良好な強スケーリングが得られた。
井戸村 泰宏; 伊奈 拓也*; Ali, Y.*; 今村 俊幸*
Proceedings of International Conference on High Performance Computing, Networking, Storage, and Analysis (SC 2020) (Internet), p.1318 - 1330, 2020/11
5次元ジャイロ運動論モデルに基づく次世代核融合実験炉ITERのマルチスケールfull-
シミュレーションは核融合科学において最も計算コストが大きい問題の一つである。本研究では、新しい混合精度省通信クリロフ法を用いてジャイロ運動論的トロイダル5次元オイラーコードGT5Dを高速化した。演算加速環境における大域的集団通信のボトルネックを省通信クリロフ法によって解決した。これに加えて、A64FXにおいて新たにサポートされたFP16SIMD演算を用いて設計された新しいFP16前処理により、反復(袖通信)の回数と計算コストの両方を削減した。富岳とSummitにおける1,440CPU/GPUを用いた1,000億格子のITER規模シミュレーションに対して、提案手法の処理性能は従来の非省通信クリロフ法に比べてそれぞれ2.8倍, 1.9倍高速化され、5,760CPU/GPUまで良好な強スケーリングを示した。
河村 拓馬; 長谷川 雄太; 井戸村 泰宏
Proceedings of Joint International Conference on Supercomputing in Nuclear Applications + Monte Carlo 2020 (SNA + MC 2020), p.187 - 192, 2020/10
汚染物質の大気拡散予測の実現に向けて、GPUスーパーコンピュータ(スパコン)向けに最適化された適合格子細分化(AMR)による流体シミュレーションが開発されており、その結果の対話的な可視化や計算パラメータのステアリング技術が必要とされている。本研究では、これまでに開発してきた構造格子向けの粒子ベースIn-situ可視化手法をAMR向けに拡張し、ファイルを介したIn-situ制御機構を利用して計算パラメータのIn-Situステアリングを可能にした。開発した手法をGPUプラットフォーム上で動作する都市部でのプルーム分散シミュレーションに結合し、膨大なパラメータスキャン無しにヒューマンインザループにより汚染源探索が可能なことを示した。
井戸村 泰宏; 伊奈 拓也*; Ali, Y.*; 今村 俊幸*
Proceedings of Joint International Conference on Supercomputing in Nuclear Applications + Monte Carlo 2020 (SNA + MC 2020), p.225 - 230, 2020/10
ジャイロ運動論的トロイダル5次元オイラーコードGT5Dにおける半陰解法差分ソルバ向けに新しいFP16(半精度)前処理付き省通信型クリロフソルバを開発した。このソルバでは、大域的集団通信のボトルネックを省通信型クリロフ部分空間法を用いて解決し、FP16前処理を用いて収束特性を改善することで袖通信の回数を削減した。FP16前処理は演算子の物理特性に基づいて設計され、A64FXにおいて新たにサポートされたFP16SIMD演算を用いて実装された。本ソルバは富岳(A64FX)とSummit(V100)に移植され、JAEA-ICEX(Haswell)に比べてそれぞれ
63倍, 29倍のソケットあたり性能の向上を達成した。
長谷川 雄太; 小野寺 直幸; 井戸村 泰宏
Proceedings of Joint International Conference on Supercomputing in Nuclear Applications + Monte Carlo 2020 (SNA + MC 2020), p.236 - 242, 2020/10
都市域の風況および汚染物質拡散は建造物や植生に強く影響されるため、従来のメソスケールモデルで記述することは困難である。この問題を解決するため、細分化格子ボルツマン法(LBM)を用いたGPUベースのCFDコードの開発を進めており、現在、数メートル解像度の汚染物質拡散のリアルタイム解析を実現している。しかし、このような高解像度のシミュレーションでは流れは極めて強い乱流状態にあり、計算結果は様々な計算条件の影響で大きく変化する。本研究では、このようなカオス状態のシミュレーションにおいて計算の信頼性を向上させるため、アンサンブル計算を実装し、不確かさの統計的評価を可能とした。開発したコードを用いてオクラホマシティにおける野外拡散実験JU2003の検証計算を行った。結果として、風況が実験とよく一致するとともに、トレーサガス濃度の平均値がアンサンブル計算と実験値の間でFactor2の条件(計算値と実験値の比が1/2から2倍の間にあること)を満たすことを確認した。
小野寺 直幸; 井戸村 泰宏; Ali, Y.*; 山下 晋; 下川辺 隆史*; 青木 尊之*
Proceedings of Joint International Conference on Supercomputing in Nuclear Applications + Monte Carlo 2020 (SNA + MC 2020), p.210 - 215, 2020/10
本研究では、ブロック型局所細分化(AMR)法に基づくPoisson解法のGPU高速化を実施した。ブロック型AMR法はGPUに適したデータ構造であり、複雑な構造物で構成された原子炉等の解析に必須な解析手法である。これに、最新の前処理手法であるマルチグリッド(MG)法を共役勾配(CG)法へと組み合わせることで、計算の高速化を実現した。MG-CG法を構成する計算カーネルをGPUスーパーコンピュータであるTSUBAME3.0上にて測定した結果、ベクトル-ベクトル和、行列-ベクトル積、およびドット積の帯域幅は、ピークパフォーマンスの約60%となり、良好なパフォーマンスを実現した。更に、MG法の前処理手法として、3段のVサイクル法および各段に対してRed-Black SOR法を適用した手法を用いて、
格子点の大規模問題の解析を実施した結果、元の前処理付きCG法と比較して、反復回数を30%未満に削減すると共に、2.5倍の計算の高速化を達成した。
関 暁之; 真弓 明恵; Wainwright-Murakami, Haruko*; 斎藤 公明; 武宮 博; 井戸村 泰宏
Proceedings of Joint International Conference on Supercomputing in Nuclear Applications + Monte Carlo 2020 (SNA + MC 2020), p.158 - 164, 2020/10
空間線量率の時間変化を近くのモニタリングポストの測定結果を使って推定する手法を開発した。この手法は、対象地点のわずかな測定値と近くのモニタリングポストの高頻度な測定値から観測モデルを設定し、階層ベイズモデルによって推定するものである。この手法の妥当性を福島県内のモニタリングポストを対象に調査したところ、ほぼ全ての対象地点において誤差が10%以内で推定することができた。
井戸村 泰宏; 小野寺 直幸; 山田 進; 山下 晋; 伊奈 拓也*; 今村 俊幸*
スーパーコンピューティングニュース, 22(5), p.18 - 29, 2020/09
多相多成分熱流動解析コードJUPITERの圧力ポアソン方程式に省通信型マルチグリッド前処理付き共役勾配(CAMGCG)法を適用し、従来のクリロフ部分空間法と計算性能と収束特性を比較した。CAMGCGソルバは問題サイズによらずロバーストな収束特性を示し、通信削減と収束特性向上を両立することから、通信削減のみを実現する省通信クリロフ部分空間法に対する優位性が高い。CAMGCGソルバを900億自由度の大規模多相流体解析に適用し、前処理付共役勾配法ソルバと処理性能を比較した。このベンチマークにおいて、反復回数は約1/800に削減され、Oakforest-PACS上で8,000ノードに至る良好な強スケーリングを維持しつつ約11.6倍の性能向上を達成した。
河村 拓馬; 井戸村 泰宏
Journal of Visualization, 23(4), p.695 - 706, 2020/08
被引用回数：0 パーセンタイル：100(Computer Science, Interdisciplinary Applications)粒子ベースボリュームレンダリングに基づくIn-situ可視化システムは、多変量ボリュームレンダリングに基づく高度にスケーラブルで柔軟な視覚解析環境を提供する。従来のCPUプラットフォームでは優れた計算パフォーマンスを示したが、最新のメニーコアプラットフォームでの高速計算により、関数パーサーと粒子データI/Oに関連する性能のボトルネックが明らかになった。本論文では、新しいSIMD対応の関数パーサーと、タスクベースのスレッド並列化に基づく非同期データI/Oを開発する。8208基のIntel Xeon Phi7250 (Knights Landing)プロセッサーで構成されるOakforest-PACS上の数値実験では、強スケーリングを約100kコアに維持しながら、一桁高い処理速度を実証した。
河合 智賀*; 井戸村 泰宏; 小川 雄一*; 山田 弘司*
Physics of Plasmas, 27(8), p.082302_1 - 082302_11, 2020/08
被引用回数：0 パーセンタイル：100(Physics, Fluids & Plasmas)弱磁気シアにおける大域的ジャイロ運動論モデルに基づいてトロイダル電子温度勾配駆動(ETG)乱流を調べた。大域的分布効果のために高トロイダルモード数nのトロイダルETGモードは外側の磁気面で励起され、強い線形分散をもたらす。この結果得られる非等方な波-乱流境界とエネルギー逆カスケードが帯状流の自己組織化を生成する。これは大域的ジャイロ運動論モデル特有の機構である。この自己組織化はランダムノイズによって初期化した減衰乱流とトロイダルETG乱流の両方で確認された。また、イオン電子温度比と乱流強度が決める臨界パラメータによってこの自己組織化過程が帯状流と等方的渦を生成することも示した。
長谷川 雄太; 小野寺 直幸; 井戸村 泰宏
第25回計算工学講演会論文集(CD-ROM), 4 Pages, 2020/06
都市部における風況と汚染物質拡散のアンサンブル計算を行うため、局所細分化格子ボルツマン法を用いたGPUペースのCFDコードを開発した。本コードはPascalまたはVolta世代のGPUアーキテクチャ向けに最適化されており、数km四方の計算領域・数m解像度の格子において実時間で風況解析を行うことができる。開発したコードを用いて、オクラホマシティで行われたフィールド実験JU(Joint Urban)2003の再現計算を行った。計算では、風況は実験値とよく一致し、また、トレーサ濃度のアンサンブルの平均値および最大値がFactor2(計算値と実験値の比が1/2倍2倍)の条件を満たすことを確認した。
小野寺 直幸; 井戸村 泰宏; Ali, Y.*; 下川辺 隆史*; 青木 尊之*
第25回計算工学講演会論文集(CD-ROM), 4 Pages, 2020/06
原子力機構では3次元多相流体解析手法としてJUPITERを開発している。本研究では、JUPITERの圧力Poisson方程式解法として、適合細分化格子(AMR)を用いたマルチグリッド前提条件付き共役勾配法(P-CG)を開発した。計算の高速化として、全ての計算カーネルはCUDAを用いて実装すると共に、GPUスーパーコンピュータ上にて高い性能を発揮する様に最適化した。開発したマルチグリッド圧力Poisson解法は、オリジナルのP-CG法と比較して約1/7の反復回数で収束することが確認された。また、TSUBAME3.0上で8から216GPUまでの強スケーリング性能測定により、更なる3倍の高速化が達成された。
小野寺 直幸; 井戸村 泰宏; 上澤 伸一郎; 山下 晋; 吉田 啓之
Mechanical Engineering Journal (Internet), 7(3), p.19-00531_1 - 19-00531_10, 2020/06
福島第一原子力発電所の廃炉の方法の一つとして、空気のみで冷却する乾式法が挙げられる。日本原子力研究開発機構(JAEA)では、空冷性能のCFD評価手法としてJUPITERコードを開発している。しかしながら、JUPITERコードにおいて、複雑な原子炉内構造物を捉えた解析を実施するためには、非常の多くの計算資源が必要となる。このような問題に対して、本研究ではGPUスーパーコンピュータおよび適合格子細分化(AMR)法を適用した格子ボルツマン法に基づくCityLBMコードを開発している。CityLBMにて乾式法を模擬したJAEAの実験に対して検証計算を行なった結果、AMR格子の一様格子への収束性、および、実験値の再現を確認した。同じ解像度および同数の並列数にて計算速度の比較を行った結果、4台のGPU(NVIDIA Tesla V100)を用いたCityLBM法は、36台のCPU(Intel Xeon E5-2680v3)を用いたJUPITERの6.7倍の速度にて解析が可能であることが示された。
朝比 祐一*; Latu, G.*; Bigot, J.*; 前山 伸也*; Grandgirard, V.*; 井戸村 泰宏
Concurrency and Computation; Practice and Experience, 32(5), p.e5551_1 - e5551_21, 2020/03
被引用回数：0 パーセンタイル：100(Computer Science, Software Engineering)2つのジャイロ運動論コード、GYSELA, GKVを最新のアクセラレータ環境、Xeon Phi KNL, Tesla P100 GPUに移植した。一台のSkylakeプロセッサーに比べ、KNLにおけるGYSELAの逐次計算カーネルは1.3x、P100 GPUにおけるGKVの逐次計算カーネルは7.4x高速化された。GYSELAとGKVのスケーリングテストをそれぞれ16-512 KNLおよび32-256 P100 GPUで実施し、GYSELAのセミラグランジアンカーネルおよびGKVの畳み込みカーネルにおけるデータ転置通信が主要なボトルネックとなることがわかった。この通信コストを削減するために、これらのコードにパイプライン法およびタスク並列法に基づく通信オーバーラップを実装した。
松本 和也*; 井戸村 泰宏; 伊奈 拓也*; 真弓 明恵; 山田 進
Journal of Supercomputing, 75(12), p.8115 - 8146, 2019/12
被引用回数：0 パーセンタイル：100(Computer Science, Hardware & Architecture)ジャイロ運動論的トロイダル5次元オイラーコードGT5Dにおける反復法線形ソルバの性能向上に向けて省通信一般化最小残差法(CA-GMRES)をCPU-GPUハイブリッドクラスタで実装した。CA-GMRESに加え、計算量を削減するために我々が提案した修正版CA-GMRES(M-CA-GMRES)の実装と評価も行った。本研究から、集団通信回数の最小化と密行列積演算による高効率演算というCA-GMRESの利点が実証された。性能評価は1ノードあたりNVIDIA Tesla P100 GPU4台を搭載したReedbush-L GPUクラスタで実施した。この結果、M-CA-GMRESによりCA-GMRES, 一般化共役残差法(GCR), GMRESに比べてそれぞれ1.09x, 1.22x, 1.50xの高速化が示された。
井戸村 泰宏
Physics of Plasmas, 26(12), p.120703_1 - 120703_5, 2019/12
被引用回数：1 パーセンタイル：72.04(Physics, Fluids & Plasmas)本論文では大域的full-fジャイロ運動論シミュレーションを用いてイオン温度勾配駆動(ITG)乱流が支配的な水素(H)および重水素(D)のLモードプラズマにおける水素同位体と規格化ジャイロ半径
の影響を示す。断熱応答電子を用いたイオン加熱数値実験では、エネルギー閉じ込め時間はBohm的なスケーリングで決まり、水素同位体質量依存性は見られない。運動論的電子を用いた電子加熱数値実験は電子からイオンへの衝突性エネルギー移行に対する同位体効果に起因する明確な同位体質量依存性を示し、約1.4倍の加熱パワー比でH, Dプラズマは同様のイオン,電子温度分布を示す。H, Dプラズマの規格化無衝突イオンジャイロ運動論方程式はが同じ場合に等価となり、ITG乱流に対する衝突効果も弱い。このため、水素同位体質量依存性は主にスケーリングと加熱源によって決まる。
Ali, Y.*; 小野寺 直幸; 井戸村 泰宏; 伊奈 拓也*; 今村 俊幸*
Proceedings of 10th Workshop on Latest Advances in Scalable Algorithms for Large-Scale Systems (ScalA 2019), p.1 - 8, 2019/11
被引用回数：3 パーセンタイル：1.37大規模線形問題の反復法ソルバはCFDコードで共通に用いられる。前処理付共役勾配(P-CG)法は最も広く用いられている反復法の一つである。しかしながら、P-CG法では、特に演算加速環境において、大域的集団通信が重要なボトルネックとなる。この問題を解決するために、省通信版のP-CG法がますます重要になっている。本論文では多相CFDコードJUPITERにおけるP-CG法と前処理付チェビシェフ基底省通信CG(P-CBCG)法を最新のV100GPUに移植する。全てのGPUカーネルは高度に最適化され約90%のルーフライン性能を達成し、ブロックヤコビ前処理はGPUの高い演算性能を引き出すように再設計し、さらに残された袖通信のボトルネックは通信と計算のオーバーラップによって回避した。P-CG法とP-CBCG法の全体性能は大域的集団通信と袖通信の省通信特性によって左右され、GPUあたりのノード間通信帯域が重要となることが示された。開発したGPUソルバはKNLにおける以前のCPUソルバの2倍に加速され、Summitにおいて7,680GPUまで良好な強スケーリングを達成した。
井戸村 泰宏; 渡邉 智彦*; 藤堂 泰*
シミュレーション, 38(2), p.79 - 86, 2019/06
次世代核融合実験炉ITERにおける炉心プラズマ性能の評価・予測、および、より高性能な炉心運転シナリオの探索に向けて、ポスト「京」をターゲットとするエクサスケール核融合プラズマシミュレーションの研究開発を推進している。本稿では、これまでに開発してきたエクサスケール計算技術や既存実験装置を対象とする実証研究の成果を紹介し、ポスト「京」における核融合プラズマシミュレーションの展望を議論する。
