Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
長谷川 雄太; 小野寺 直幸; 井戸村 泰宏
第34回数値流体力学シンポジウム講演論文集(インターネット), 3 Pages, 2020/12
都市風況および汚染物質拡散解析を行うため、局所細分化格子ボルツマン法を用いた実時間アンサンブル計算コードを開発した。開発したコードを、産業技術総合研究所による風洞実験、およびオクラホマシティでの野外拡散実験JU2003と比較した。風洞実験に対する検証では、風況は実験とよく一致するとともに、トレーサ物質の濃度は、環境アセスメントガイドラインで示されている評価指標であるFACTOR2に対し、61.2%の正答率を達成した。野外拡散実験JU2003においては、風速の瞬時値は実験とよく一致したが、風向は最大で100
のずれがあった。一方で、トレーサ物質濃度の平均値は、全時間区間においてFACTOR2を満たした。以上の結果より本コードは環境アセスメントに対して十分な精度を持つことを示した。
長谷川 雄太; 小野寺 直幸; 井戸村 泰宏
Proceedings of Joint International Conference on Supercomputing in Nuclear Applications + Monte Carlo 2020 (SNA + MC 2020), p.236 - 242, 2020/10
都市域の風況および汚染物質拡散は建造物や植生に強く影響されるため、従来のメソスケールモデルで記述することは困難である。この問題を解決するため、細分化格子ボルツマン法(LBM)を用いたGPUベースのCFDコードの開発を進めており、現在、数メートル解像度の汚染物質拡散のリアルタイム解析を実現している。しかし、このような高解像度のシミュレーションでは流れは極めて強い乱流状態にあり、計算結果は様々な計算条件の影響で大きく変化する。本研究では、このようなカオス状態のシミュレーションにおいて計算の信頼性を向上させるため、アンサンブル計算を実装し、不確かさの統計的評価を可能とした。開発したコードを用いてオクラホマシティにおける野外拡散実験JU2003の検証計算を行った。結果として、風況が実験とよく一致するとともに、トレーサガス濃度の平均値がアンサンブル計算と実験値の間でFactor2の条件(計算値と実験値の比が1/2から2倍の間にあること)を満たすことを確認した。
小野寺 直幸; 井戸村 泰宏; Ali, Y.*; 山下 晋; 下川辺 隆史*; 青木 尊之*
Proceedings of Joint International Conference on Supercomputing in Nuclear Applications + Monte Carlo 2020 (SNA + MC 2020), p.210 - 215, 2020/10
本研究では、ブロック型局所細分化(AMR)法に基づくPoisson解法のGPU高速化を実施した。ブロック型AMR法はGPUに適したデータ構造であり、複雑な構造物で構成された原子炉等の解析に必須な解析手法である。これに、最新の前処理手法であるマルチグリッド(MG)法を共役勾配(CG)法へと組み合わせることで、計算の高速化を実現した。MG-CG法を構成する計算カーネルをGPUスーパーコンピュータであるTSUBAME3.0上にて測定した結果、ベクトル-ベクトル和、行列-ベクトル積、およびドット積の帯域幅は、ピークパフォーマンスの約60%となり、良好なパフォーマンスを実現した。更に、MG法の前処理手法として、3段のVサイクル法および各段に対してRed-Black SOR法を適用した手法を用いて、
格子点の大規模問題の解析を実施した結果、元の前処理付きCG法と比較して、反復回数を30%未満に削減すると共に、2.5倍の計算の高速化を達成した。
井戸村 泰宏; 小野寺 直幸; 山田 進; 山下 晋; 伊奈 拓也*; 今村 俊幸*
スーパーコンピューティングニュース, 22(5), p.18 - 29, 2020/09
多相多成分熱流動解析コードJUPITERの圧力ポアソン方程式に省通信型マルチグリッド前処理付き共役勾配(CAMGCG)法を適用し、従来のクリロフ部分空間法と計算性能と収束特性を比較した。CAMGCGソルバは問題サイズによらずロバーストな収束特性を示し、通信削減と収束特性向上を両立することから、通信削減のみを実現する省通信クリロフ部分空間法に対する優位性が高い。CAMGCGソルバを900億自由度の大規模多相流体解析に適用し、前処理付共役勾配法ソルバと処理性能を比較した。このベンチマークにおいて、反復回数は約1/800に削減され、Oakforest-PACS上で8,000ノードに至る良好な強スケーリングを維持しつつ約11.6倍の性能向上を達成した。
長谷川 雄太; 小野寺 直幸; 井戸村 泰宏
第25回計算工学講演会論文集(CD-ROM), 4 Pages, 2020/06
都市部における風況と汚染物質拡散のアンサンブル計算を行うため、局所細分化格子ボルツマン法を用いたGPUペースのCFDコードを開発した。本コードはPascalまたはVolta世代のGPUアーキテクチャ向けに最適化されており、数km四方の計算領域・数m解像度の格子において実時間で風況解析を行うことができる。開発したコードを用いて、オクラホマシティで行われたフィールド実験JU(Joint Urban)2003の再現計算を行った。計算では、風況は実験値とよく一致し、また、トレーサ濃度のアンサンブルの平均値および最大値がFactor2(計算値と実験値の比が1/2倍
2倍)の条件を満たすことを確認した。
小野寺 直幸; 井戸村 泰宏; Ali, Y.*; 下川辺 隆史*; 青木 尊之*
第25回計算工学講演会論文集(CD-ROM), 4 Pages, 2020/06
原子力機構では3次元多相流体解析手法としてJUPITERを開発している。本研究では、JUPITERの圧力Poisson方程式解法として、適合細分化格子(AMR)を用いたマルチグリッド前提条件付き共役勾配法(P-CG)を開発した。計算の高速化として、全ての計算カーネルはCUDAを用いて実装すると共に、GPUスーパーコンピュータ上にて高い性能を発揮する様に最適化した。開発したマルチグリッド圧力Poisson解法は、オリジナルのP-CG法と比較して約1/7の反復回数で収束することが確認された。また、TSUBAME3.0上で8から216GPUまでの強スケーリング性能測定により、更なる3倍の高速化が達成された。
小野寺 直幸; 井戸村 泰宏; 上澤 伸一郎; 山下 晋; 吉田 啓之
Mechanical Engineering Journal (Internet), 7(3), p.19-00531_1 - 19-00531_10, 2020/06
福島第一原子力発電所の廃炉の方法の一つとして、空気のみで冷却する乾式法が挙げられる。日本原子力研究開発機構(JAEA)では、空冷性能のCFD評価手法としてJUPITERコードを開発している。しかしながら、JUPITERコードにおいて、複雑な原子炉内構造物を捉えた解析を実施するためには、非常の多くの計算資源が必要となる。このような問題に対して、本研究ではGPUスーパーコンピュータおよび適合格子細分化(AMR)法を適用した格子ボルツマン法に基づくCityLBMコードを開発している。CityLBMにて乾式法を模擬したJAEAの実験に対して検証計算を行なった結果、AMR格子の一様格子への収束性、および、実験値の再現を確認した。同じ解像度および同数の並列数にて計算速度の比較を行った結果、4台のGPU(NVIDIA Tesla V100)を用いたCityLBM法は、36台のCPU(Intel Xeon E5-2680v3)を用いたJUPITERの6.7倍の速度にて解析が可能であることが示された。
稲垣 厚至*; Wangsaputra, Y.*; 神田 学*; Y
cel, M.*; 小野寺 直幸; 青木 尊之*
SOLA (Scientific Online Letters on the Atmosphere) (Internet), 16, p.120 - 124, 2020/00
被引用回数：0 パーセンタイル：100(Meteorology & Atmospheric Sciences)都市境界層を対象とした風況解析により、内層および外層のスケーリングと乱流強度分布の類似性を検討した。計算条件として、現実的な建物形状の上に発達する中立条件を仮定すると共に、計算領域19.2km
4.8km高さ1kmに対して2m格子を設定した。乱流強度分布は計算領域内で局所的に定義できる。内層と外層に対してスケーリング則を当てはめることで、表面形状に関係なく、内層と外層内の乱流強度予測のばらつきを減らすことが可能となる。スケーリングされたプロファイル間のばらつきは、各層のスケーリングパラメーターの不一致に起因するが、長さまたは速度の比率からなる無次元パラメーターを導入することで、それらの類似性を示した。
Ali, Y.*; 小野寺 直幸; 井戸村 泰宏; 伊奈 拓也*; 今村 俊幸*
Proceedings of 10th Workshop on Latest Advances in Scalable Algorithms for Large-Scale Systems (ScalA 2019), p.1 - 8, 2019/11
被引用回数：3 パーセンタイル：1.37大規模線形問題の反復法ソルバはCFDコードで共通に用いられる。前処理付共役勾配(P-CG)法は最も広く用いられている反復法の一つである。しかしながら、P-CG法では、特に演算加速環境において、大域的集団通信が重要なボトルネックとなる。この問題を解決するために、省通信版のP-CG法がますます重要になっている。本論文では多相CFDコードJUPITERにおけるP-CG法と前処理付チェビシェフ基底省通信CG(P-CBCG)法を最新のV100GPUに移植する。全てのGPUカーネルは高度に最適化され約90%のルーフライン性能を達成し、ブロックヤコビ前処理はGPUの高い演算性能を引き出すように再設計し、さらに残された袖通信のボトルネックは通信と計算のオーバーラップによって回避した。P-CG法とP-CBCG法の全体性能は大域的集団通信と袖通信の省通信特性によって左右され、GPUあたりのノード間通信帯域が重要となることが示された。開発したGPUソルバはKNLにおける以前のCPUソルバの2倍に加速され、Summitにおいて7,680GPUまで良好な強スケーリングを達成した。
大橋 訓英*; 日野 孝則*; 小林 寛*; 小野寺 直幸; 坂本 信晶*
Journal of Marine Science and Technology, 24(3), p.884 - 901, 2019/09
被引用回数：2 パーセンタイル：35.37(Engineering, Marine)船舶の運動解析に向けて、移動重合格子に対して非定常レイノルズ平均モデルによる解析手法を構築した。解析手法の定式化として、圧力と速度の連成は弱圧縮性近似による手法を採用するとともに、複雑な船体運動は格子変形手法および対流項補正によって実現している。本研究では、マルチグリッド法による圧力Poisson方程式の解法を導入することで計算の高速化を実現した。重合格子に対する複雑なマルチグリッド法においても、各解像度および重合格子の接続情報に従って圧力の修正を行うことで、連続の式を満足している。以上の解析手法により、定常波を含む船舶周りの流れの計算が実現された。
小野寺 直幸; 井戸村 泰宏; 河村 拓馬; 上澤 伸一郎; 山下 晋; 吉田 啓之
Proceedings of 27th International Conference on Nuclear Engineering (ICONE-27) (Internet), 6 Pages, 2019/05
福島第一原子力発電所の廃炉の方法の一つとして、乾式法が挙げられる。日本原子力研究開発機構(JAEA)では、空冷性能のCFD評価手法としてJUPITERコードを開発している。しかしながら、JUPITERコードにおいて、複雑な原子炉内構造物を捉えた解析を実施するためには、非常の多くの計算資源と計算時間が必要となる。このような問題に対して、本研究ではGPUスーパーコンピュータに適した格子ボルツマン法に基づくCityLBMコードを開発している。CityLBMにてDry methodを模擬したJAEAの実験に対して検証計算を行なった結果、JUPITERコードと同様の結果が得られることが示された。また、同じ解像度および同数の並列数にて計算速度の比較を行った結果、GPUを用いたCityLBM法は、CPUを用いたJUPITERの1/6の計算時間にて解析が行えることが示された。以上の結果より、CityLBMは熱流動解析コードの有効な手法の一つであることが示された。
小野寺 直幸; 井戸村 泰宏; Ali, Y.*; 下川辺 隆史*
Proceedings of 9th Workshop on Latest Advances in Scalable Algorithms for Large-Scale Systems (ScalA 2018) (Internet), p.9 - 16, 2018/11
被引用回数：2 パーセンタイル：14.22計算の高速化に向けて適合細分化格子(AMR)法を適用した格子ボルツマン法(LBM)に対して、通信削減マルチタイムステップ法(CRMT)を提案した。本手法はテンポラルブロッキング法に基づく定式化を行うことで、GPU計算で大きなボトルネックとなる通信回数の削減が可能となる。東京工業大学のTSUBAMEおよび東京大学のReedbushスーパーコンピュータにて性能測定を実施した結果、通信コストが64%に削減され、200GPUまでの弱および強スケーリング結果が改善された。以上の高速化により、2km四方の計算領域に対して1m解像度の風速5msの実時間解析が可能であることが示された。
井戸村 泰宏; 伊奈 拓也*; 山下 晋; 小野寺 直幸; 山田 進; 今村 俊幸*
Proceedings of 9th Workshop on Latest Advances in Scalable Algorithms for Large-Scale Systems (ScalA 2018) (Internet), p.17 - 24, 2018/11
被引用回数：0 パーセンタイル：100多相流体CFDコードJUPITERの圧力ポアソン方程式に省通信マルチグリッド前処理付共役勾配(CAMGCG)法を適用し、省通信クリロフ部分空間法と計算性能と収束特性を比較した。JUPITERコードにおいてCAMGCGソルバ問題サイズによらずロバーストな収束特性を有し、通信削減と収束特性向上を両立することから、通信削減のみを実現する省通信クリロフ部分空間法に対する優位性が高い。CAMGCGソルバを
億自由度の大規模多相流体CFDシミュレーションに適用して反復回数を前処理付CG法の
に削減し、Oakforest-PACSにおける8,000ノードまでの良好な強スケーリングとCG法の
倍の性能向上を達成した。
小野寺 直幸; 井戸村 泰宏
Proceedings of 26th International Conference on Nuclear Engineering (ICONE-26) (Internet), 7 Pages, 2018/07
放射性物質の拡散計算は、核セキュリティの観点から非常に重要である。近年、低消費電力および演算性能の高さよりGPUによる科学技術計算が注目されている。本研究では、GPUを用いた格子ボルツマン法による計算コード手法を構築することで、高精度かつ高速な風況解析手法を構築した。東京工業大学のスーパーコンピュータTSUBAMEによる弱スケーリングの性能測定を行った結果、4から144台のGPUに対して良いスケーリングが得られるとともに、CPUとの比較ではノードあたり30倍程度の性能を達成した。産業技術総合研究所の風洞実験に対する検証計算では、AMR法を適用することで全てを細かい格子で計算するのと比較して10%程度の格子点数で解析が可能となるとともに、実験による観測と良く一致している結果が得られた。
小野寺 直幸; 井戸村 泰宏
Lecture Notes in Computer Science 10776, p.128 - 145, 2018/00
被引用回数：6 パーセンタイル：4.45本研究では、局所細分化格子を適用した格子ボルツマン法を開発した。計算コードは、東京工業大学のGPUベースのスーパーコンピュータTSUBAME3.0を用いて開発を行い、最新のPascalアーキテクチャに対して最適化を行なった。1から36ノードを用いた弱スケーリングの性能測定では、NVIDIA TESLA P100を用いたGPU計算がBroadwellによるCPU計算の10倍以上の高速化が達成された。
下川辺 隆史*; 遠藤 敏夫*; 小野寺 直幸; 青木 尊之*
Proceedings of 2017 IEEE International Conference on Cluster Computing (IEEE Cluster 2017) (Internet), p.525 - 529, 2017/09
ステンシルに基づくCFDコードは、規則的なメモリアクセスを持つため、GPUで高い性能を得ることができる。しかしながら、GPUはCPUと比較して、メモリ容量が小さいため、CPUと同様の大きさの問題を解くことができない。そこで、本研究では、CPUのホストメモリとCPUのデバイスメモリの局所性を向上させることが可能な、テンポラルブロッキング法を用いることで、GPUのメモリ容量を超える大きさの計算を可能とした。本研究で開発したフレームワークでは、複雑なコーディングは必要とせずに、テンポラルブロッキング法を含む並列計算用のコードを生成できる。フレームワークを用いて開発した気流解析コードでは、TSUBAME2.5において、GPUのメモリ容量の2倍の計算規模においても、通常のメモリ容量の計算の80%程度の実効性能を達成した。
稲垣 厚至*; 神田 学*; Ahmad, N. H.*; 八木 綾子*; 小野寺 直幸; 青木 尊之*
Boundary-Layer Meteorology, 164(2), p.161 - 181, 2017/08
被引用回数：5 パーセンタイル：63.4(Meteorology & Atmospheric Sciences)本研究では、東京都市部に対して、中立安定状態における大気境界層に対する数値解析を行なった。GPUを用いた並列計算を実施することで、19.2km4.8km1kmの領域に対して2m解像度のラージエディ・シミュレーションが可能となった。大規模計算結果より、境界層上部の乱流統計量や境界層全域におよび特徴的なストリーク構造等の再現が可能であることが確認された。
小野寺 直幸; 吉田 啓之; 高瀬 和之
no journal, ,
本研究ではラージエディ・シミュレーション(LES)による乱流モデルとグラフィックス・プロセッシングユニット(GPU)による高速化により、原子炉内の燃料集合体周りの単相流詳細熱流動解析手法開発を目的とする。LESを用いて流体方程式の定式化を行うことで、従来の熱流動解析に広く用いられているレイノルズ平均モデル計算(RANS)では捉えることのできない、乱流の非定常現象を正確に把握することが可能となる。また、GPUを用いた高速化技術により燃料集合体を模擬した大規模体系解析の非常に高速な実施が可能となる。本報では燃料集合体の形状や隣接する燃料棒の間隔がサブチャンネル内の乱流構造に及ぼす影響を数値的に調べた。その結果、サブチャンネル内において乱流に特徴的な縦渦構造が存在すること、並びにそれらの渦により燃料棒近傍を流れる流体とサブチャンネル中央部流体が激しく混合されることを定量的に明らかにした。
小野寺 直幸; 青木 尊之*; 下川辺 隆史*
no journal, ,
東京工業大学のスーパーコンピュータTSUBAME2.0は、グラフィックス・プロセッシングユニット(GPU)を多数導入することで2.4PFLOPSのピーク性能を有する世界有数のスーパーコンピュータである。本研究ではMPIによる並列計算ライブラリと開発言語CUDAによるGPU計算への適用を行うことで、単相乱流のラージエディ・シミュレーション(LES)コードの高速化を行った。その結果、TSUBAME2.0の64GPUを用いた計算で、1.29TFLOPの倍精度演算性能を達成した。この値はCPUに換算するとIntel Core i7 1コアが1GFlops程度の実効性能となることから、1000コア以上に相当する値である。さらに、GPUを用いた複雑物体周りのLESを行い、複雑物体周りの乱流のストリーク構造を高速に再現できることを確認した。
小野寺 直幸; 吉田 啓之; 高瀬 和之; 青木 尊之*
no journal, ,
本研究では、原子炉内熱流動解析コード整備の一環として、高精度乱流モデルであるラージ・エディ・シミュレーション(LES)、並びにLES解析に要する多大な計算時間の大幅短縮を目指してグラフィックス・プロセッシングユニット(GPU)を利用した単相乱流解析コードの開発を行っている。このコードを使って、原子炉燃料集合体を模擬した複雑物体まわりの流動解析を行い、(1)燃料集合体サブチャンネル内に発生する乱れのストリーク構造をLESによって定量的に評価できること、(2)開発中のコードはGPUを利用することでCPU計算機に比べて計算時間を約5倍短縮できること、を確認した。今後は、超臨界流体に適用できるようにコードの拡張を行い、超臨界圧軽水炉の燃料集合体内熱流動現象評価に適用する考えである。
