Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
河村 拓馬; 長谷川 雄太; 井戸村 泰宏
Journal of Visualization, 27(1), p.89 - 107, 2024/02
対話的なIn-Situステアリングは、大規模で高速なCFDシミュレーションにおけるデバッグ、最適解の探索、逆問題の解析に有効なツールである。我々は、GPUスーパーコンピュータ上での大規模CFDシミュレーションのための対話的なIn-Situステアリングフレームワークを提案する。このフレームワークは、In-Situ Particle-based Volume Rendering (PBVR)、In-Situデータサンプリング、ファイルベース制御を採用し、スーパーコンピュータとユーザーPC間でステアリングパラメータ、圧縮された粒子データ、サンプリングしたモニタリングデータを対話的に通信できる。そして並列化されたPBVRは、GPU上のCFDシミュレーションとの干渉を避けるため、ホストCPUで処理される。提案フレームワークを、GPUスーパーコンピュータ上の実時間プルーム拡散解析コードCityLBMに適用した。数値実験では、モニタリング地点の観測データから汚染物質の発生源を見つける逆問題に取り組み、in-situステアリングフレームワークによるヒューマンインザループの有効性を実証した。
長谷川 雄太; 小野寺 直幸; 朝比 祐一; 伊奈 拓也; 今村 俊幸*; 井戸村 泰宏
Fluid Dynamics Research, 55(6), p.065501_1 - 065501_25, 2023/11
格子ボルツマン法(LBM)に基づくラージエディーシミュレーション(LES)に対するデータ同化の適用性を調査した。2次元等方乱流の観測システムシミュレーション実験を行い、空間的に疎かつノイズを含む観測を用いてナッジング法及び局所アンサンブル変換カルマンフィルタによるデータ同化の精度を検証した。LETKFの利点として、ナッジングで必要となる空間補間及び巨視的量(流体密度及び流速)からLBMの速度分布関数への変換を必要としないことが挙げられる。計算条件として格子及び10%の流速観測ノイズを設定した実験では、64アンサンブルのLETKFはの観測点(計算格子点数に対して0.1%程度)でも観測ノイズよりも小さい誤差を示した。これは、ナッジングで同様の精度を示すのに1桁程度多くの観測点数を要する精度である。さらに、LETKFでは観測点数の不足はエネルギースペクトルの振幅には影響せず、スペクトルの位相誤差のみに影響することが確認された。以上の結果により、LETKFは、空間的に疎かつノイズを含む観測を用いた2次元のLBM計算のデータ同化に対してロバストかつ高精度であることが示された。
小野寺 直幸; 井戸村 泰宏; 長谷川 雄太; 朝比 祐一; 稲垣 厚至*; 下瀬 健一*; 平野 洪賓*
計算工学講演会論文集(CD-ROM), 28, 4 Pages, 2023/05
我々の研究グループでは、都市全域を含む広域の風況場から細かな路地等を捉えたマルチスケールの風況シミュレーションコードCityLBMの開発を進めている。CityLBMは、格子ボルツマン法に適合細分化格子を適用した省メモリ化、および、GPUスーパーコンピュータによる高性能計算により、数km四方に対してリアルタイムのアンサンブルシミュレーションが可能となる。一方、実現象には、モデル化できない複雑な境界条件が含まれているため、観測データをシミュレーションに反映させるためのデータ同化技術が必要である。本研究では、現実の風況を再現するために、アンサンブルカルマンフィルターに基づく地表面温度バイアスの最適化手法を提案した。CityLBMの検証として、東京都心部を対象とした観測システムシミュレーション実験を実施し、地表面近傍の温度から、境界条件として与えている地表面温度を推定する。
朝比 祐一; 小野寺 直幸; 長谷川 雄太; 下川辺 隆史*; 芝 隼人*; 井戸村 泰宏
Boundary-Layer Meteorology, 186(3), p.659 - 692, 2023/03
被引用回数:0 パーセンタイル:0.01(Meteorology & Atmospheric Sciences)定点観測された風向などの時系列データおよび汚染物質放出点を入力として、汚染物質の地表面拡散分布を予測する機械学習モデルを開発した。問題設定としては、一様風が都市部へ流入し、都市部内にランダムに設置された汚染物質放出点から汚染物質が拡散するという状況を扱っている。機械学習モデルとしては、汚染物質放出点から汚染物質の拡散分布を予測するCNNモデルを用いた。風向などの時系列データは、Transformerや多層パーセプトロンによってEncodeし、CNNへと引き渡す。これによって、現実的に取得可能な定点測時系列データのみを入力とし、実用上価値の高い汚染物質の地表面拡散分布の予測を可能とした。同一のモデルを用いて定点観測時系列データから汚染物質放出点の予測が可能であることも示した。
長谷川 雄太; 小野寺 直幸; 朝比 祐一; 井戸村 泰宏
第36回数値流体力学シンポジウム講演論文集(インターネット), 5 Pages, 2022/12
格子ボルツマン法と局所アンサンブル変換カルマンフィルタ(LBM-LETKF)による乱流のアンサンブルデータ同化をGPUに実装し、精度の検証を行なった。32GPUを用いて、格子点数2.3、アンサンブル数32の条件で、3次元角柱周りの流れ対してデータ同化実験を実施した。本実験におけるデータ同化の時間間隔は、カルマン渦周期の半分に設定した。精度として、揚力係数の誤差(normalized mean absolute error; NMAE)を測定したところ、データ同化なし、ナッジング法(より単純なデータ同化手法)による同化、およびLETKFのそれぞれにおいて、誤差は132%, 148%、および13.2%であった。これにより、観測頻度が低い本計算条件においては、ナッジング法のような簡易な手法では解に系統的な遅れが現れてデータ同化の精度を保つことができない一方で、LETKFでは良好なデータ同化精度を示すことが確認できた。
小野寺 直幸; 井戸村 泰宏; 長谷川 雄太; 中山 浩成
第36回数値流体力学シンポジウム講演論文集(インターネット), 3 Pages, 2022/12
高解像度の風況解析は、スマートシティ設計に活用できるなど非常に重要である。都市部は高層ビルが密集した複雑な形状をしており、それらにより風の流れが乱流状態となるため、都市街区全域から細かな路地までを捉えた大規模計算が必要である。それらの課題に対して、本研究グループは、メソスケール気象データを境界条件として利用したマルチスケールの汚染物質拡散手法CityLBMコードの開発を進めている。CityLBMは、計算領域周辺の境界条件をメソスケール気象データに同化させるナッジング法を導入することで、現実の風況を反映した解析が可能である。しかしながら、従来のナッジング法では、ナッジング係数が一定のため、大気状態が変化するような長時間解析の乱流強度を再現できない問題点が挙げられる。本研究では、アンサンブルカルマンフィルタを用いた動的なナッジング・パラメータの最適化手法を提案する。CityLBMの検証として、米国オクラホマシティの風況実験に対する解析を実施した。シミュレーションと観測のそれぞれで得られる乱流強度の誤差を低減するようにナッジング係数を更新した結果、一定のナッジング係数の結果と比較して10%ほど予測精度を向上することを確認した。
中山 浩成; 小野寺 直幸; 佐藤 大樹; 永井 晴康; 長谷川 雄太; 井戸村 泰宏
Journal of Nuclear Science and Technology, 59(10), p.1314 - 1329, 2022/10
被引用回数:5 パーセンタイル:86.35(Nuclear Science & Technology)放射性物質の大気放出に対して、放出点から数km以内の局所域スケールでの放射性物質の複雑な大気濃度分布及び沈着分布を計算するとともに、それらからの放射線について建物による遮蔽効果を考慮して詳細に線量評価が行える解析システム(LHADDAS)を開発した。本システムは、個々の建物の影響を考慮して詳細に拡散計算が行える局所域高分解能大気拡散計算コード(LOHDIM-LES)、都市域に対して迅速に拡散計算が行えるリアルタイム都市大気拡散計算コード(CityLBM)、建物の遮蔽効果を考慮した3次元体系で放射線の挙動を迅速に計算できる線量評価コード(SIBYL)及び計算に必要となるデータベースと入力作成プログラムから構成されている。本解析システムは、原子力施設の安全審査における風洞実験に代わる現実的な評価手法、原子力事故時の施設内外作業員の被ばく線量評価、都市域での放射性物質拡散テロに対する汚染状況把握と被ばく線量評価など、幅広い活用が期待できる。
長谷川 雄太; 小野寺 直幸; 朝比 祐一; 井戸村 泰宏
計算工学講演会論文集(CD-ROM), 27, 4 Pages, 2022/06
局所アンサンブル変換カルマンフィルタ(LETKF)および格子ボルツマン法(LBM)を用いたアンサンブルデータ同化のGPU実装を行った。D2Q9 LBMによる二次元等方性乱流を対象として、最大32アンサンブルで性能測定を行った。LETKFの計算コストは、8アンサンブルまででLBMと同程度であり、それ以上の大アンサンブル数においてはLBMよりも高くなった。32アンサンブルにおいて、1同化サイクルあたりの所要時間はLBMで5.39ms、LETKFで28.3msであった。これらの結果から、3次元LBMの実用計算に本手法を適用するためにはLETKFの更なる高速化が必要であることが示唆される。
小野寺 直幸; 井戸村 泰宏; 長谷川 雄太; 下川辺 隆史*; 青木 尊之*
計算工学講演会論文集(CD-ROM), 27, 4 Pages, 2022/06
我々の研究グループでは、風況デジタルツインの実現に向けて、風況解析コードCityLBMを開発している。CityLBMは、計算領域周辺の境界条件をメソスケール気象データに同化させるナッジング法を導入することで、現実の風況を反映した解析が可能である。しかしながら、従来のナッジング法では、ナッジング係数が一定のため、大気状態が変化するような長時間解析の乱流強度を再現できない問題点が挙げられる。そこで、本研究では、パーティクルフィルタを用いた動的なナッジング・パラメータの最適化手法を提案する。CityLBMの検証として、米国オクラホマシティの風況実験に対する解析を実施した。シミュレーションと観測のそれぞれで得られる乱流強度の誤差を低減するようにナッジング係数を更新した結果、シミュレーションにおいて終日の大気境界層を再現できることを確認した。
朝比 祐一; 小野寺 直幸; 長谷川 雄太; 下川辺 隆史*; 芝 隼人*; 井戸村 泰宏
計算工学講演会論文集(CD-ROM), 27, 5 Pages, 2022/06
都市風況解析コードCityLBMをAMD社のMI100 GPUへと移植し、CityLBMの性能をNVIDIA P100, V100, A100およびAMD MI100において測定した。ホスト間でのMPI通信を利用した場合、CityLBMの性能はMI100においてV100と比べ20%程度向上した。適合細分化格子法に起因する補間カーネルを除く演算カーネルでは、MI100においてV100と比べ性能向上を確認した。
長谷川 雄太; 今村 俊幸*; 伊奈 拓也; 小野寺 直幸; 朝比 祐一; 井戸村 泰宏
Proceedings of 13th Workshop on Latest Advances in Scalable Algorithms for Large-Scale Heterogeneous Systems (ScalAH22) (Internet), p.10 - 17, 2022/00
格子ボルツマン法(LBM)に基づく数値流体力学シミュレーションおよび局所アンサンブル変換カルマンフィルタ(LETKF)によるアンサンブルデータ同化をNVIDIA A100 GPU搭載スパコンに対して実装し、および最適化した。LBMとLETKFの協働のため、データ転置通信を実装し、LETKFのデータ依存性に基づいて計算,ファイルI/O、および通信のオーバーラップにより通信を最適化した。2次元等方乱流,アンサンブル数,格子点数の条件において、通信を最適化した実装は、LETKFを並列化しない単純な実装に対して3.85倍の高速化を達成した。LETKFの主要な計算カーネルはの実対称密行列の固有値分解であり、その計算のため、バッチ形式固有値分解ソルバEigenGを新たに開発した。EigenGによるバッチ形式固有値分解は、既存ライブラリであるcuSolverに対して64倍の高速化を達成した。
小野寺 直幸; 井戸村 泰宏; 長谷川 雄太; 中山 浩成
第35回数値流体力学シンポジウム講演論文集(インターネット), 3 Pages, 2021/12
高解像度の風況解析は、スマートシティ設計に活用できるなど非常に重要である。都市部は高層ビルが密集した複雑な形状をしており、それらにより風の流れが乱流状態となるため、都市街区全域から細かな路地までを捉えた大規模計算が必要である。本研究グループでは、GPUおよび適合細分化格子(AMR)法を用いた格子ボルツマン法(LBM)に基づく解析手法CityLBMを開発している。現実の風況を再現するためにメソスケール気象予測モデルの風況および地表面温度が境界条件として必要となる。本研究では、それらの境界条件の高度化として、Monin-Obukhov相似則に基づく熱流束を求める物理モデルを導入した。物理モデルの検証として、米国オクラホマシティの野外観測実験に対して解析を実施し、観測値を良く再現できていることを確認した。
長谷川 雄太; 青木 尊之*; 小林 宏充*; 井戸村 泰宏; 小野寺 直幸
Parallel Computing, 108, p.102851_1 - 102851_12, 2021/12
被引用回数:1 パーセンタイル:34.17(Computer Science, Theory & Methods)GPUスーパコンピュータに対して格子ボルツマン法(LBM: lattice Botltzmann method)およびforest-of-octreesに基づくブロック構造型の局所細分化格子(LMR: local mesh refinement)を用いた空力解析コードを実装し、その性能を評価した。性能評価の結果、従来の空間充填曲線(SFC; space-filling curve)に基づく領域分割アルゴリズムでは、本空力解析において袖領域通信のコストが過大となることがわかった。領域分割の改善手法として本稿では挿し木法を提案し、領域分割の局所性とトポロジーを改善し、従来のSFCに基づく手法に比べて通信コストを1/31/4に削減した。強スケーリング測定では、最大で1.82倍の高速化を示し、128GPUで2207MLUPS(mega-lattice update per second)の性能を達成した。弱スケーリング測定では、8128GPUで93.4%の並列化効率を示し、最大規模の128GPU計算では44.73億格子点を用いて9620MLUPSの性能を達成した。
朝比 祐一; 畑山 そら*; 下川辺 隆史*; 小野寺 直幸; 長谷川 雄太; 井戸村 泰宏
Proceedings of 2021 IEEE International Conference on Cluster Computing (IEEE Cluster 2021) (Internet), p.686 - 691, 2021/10
被引用回数:1 パーセンタイル:54.37多重解像度の定常流を予測する畳み込みニューラルネットワークを開発した。本モデルは、最先端の画像変換モデルpix2pixHDに基づき、パッチ化された符合付き距離関数から高解像度の流れ場の予測が可能である。高解像度データをパッチ化することにより、pix2pixHDと比べてメモリ使用量を削減した。
小野寺 直幸; 井戸村 泰宏; 長谷川 雄太; 中山 浩成; 下川辺 隆史*; 青木 尊之*
Boundary-Layer Meteorology, 179(2), p.187 - 208, 2021/05
被引用回数:9 パーセンタイル:76.92(Meteorology & Atmospheric Sciences)汚染物質の拡散解析手法CityLBMは、GPUスーパーコンピュータ上において、適合細分化格子(AMR)法を適用する事で、数kmの解析領域の実時間解析が可能である。本論文では、CityLBMの検証としてオクラホマ市で実施された野外拡散実験(JU2003)に対する解析を実施した。計算条件として、Weather Research and Forecasting(WRF)モデルを用いた風況条件および、建物と植生を考慮した地表面データをCityLBMに与えることで、JU2003の実験条件を再現した。さらにアンサンブル計算の実施により、乱流の不確実性を軽減した。汚染物質の時間平均濃度および最大値を実験測定値と比較した結果、アンサンブル計算により解析精度を向上すると共に、2m解像度・4km四方の解析では、24個の計測値に対して70%の高い割合でFactor2を満たす事を確認した。
長谷川 雄太; 青木 尊之*; 小林 宏充*; 井戸村 泰宏; 小野寺 直幸
計算工学講演会論文集(CD-ROM), 26, 6 Pages, 2021/05
Forest-of-octreesに基づく局所格子細分化法(LMR)を導入した格子ボルツマン法(LBM)に基づく空力解析コードに対し、挿し木法による領域分割の改善手法を提案した。従来の空間充填曲線に基づく領域分割法は、適合格子細分化法(AMR)やLMRで広く用いられているものの、GPUスパコン向けに実装された本空力解析コードにおいては袖領域通信が増大し計算のボトルネックとなるうることが確認された。本研究で提案する挿し木法は、粗い等間隔格子状の領域分割と細かい空間充填曲線に基づく分割のハイブリッドによる手法である。挿し木法により、領域分割の局所性と幾何形状が改善しており、通信量が従来の空間充填曲線に基づく手法に比べて3分の1に削減された。8GPU並列による性能検証では、コード全体で1.23倍の高速化が確認された。また、強スケーリングにおいてさらに性能の改善が見られ、128GPUの強スケーリングにおいては、従来手法に比べて1.82倍の高速化を示し、2207MLUPS (mega-lattice update per second)の計算性能を達成した。
小野寺 直幸; 井戸村 泰宏; 長谷川 雄太; 下川辺 隆史*; 青木 尊之*
計算工学講演会論文集(CD-ROM), 26, 3 Pages, 2021/05
本研究では、二相流体解析コードJUPITER-AMRに対して、圧力ポアソン方程式に対する混合精度前処理手法を開発した。マルチグリッド前処理手法として、3段のVサイクルの幾何学的MG法およびキャッシュを再利用したSOR(CR-SOR)法を適用した。原子力工学問題での性能測定として、バンドル体系に対する多相流体解析を実施した。計算速度として、単精度演算を適用する事で、倍精度演算の75%へと削減すると共に、強スケーリング性能においては、32台から96台のGPUを利用する事で1.88倍を実現した。
朝比 祐一; 畑山 そら*; 下川辺 隆史*; 小野寺 直幸; 長谷川 雄太; 井戸村 泰宏
計算工学講演会論文集(CD-ROM), 26, 4 Pages, 2021/05
多重解像度の定常流流れ場を符合付き距離関数から予測するConvolutional Neural networkモデルを開発した。高解像度の画像生成を可能とするネットワークPix2PixHDをパッチ化された高解像度データに適用することで、通常のPix2PixHDよりメモリ使用量を削減しつつ、高解像度流れ場の予測が可能であることを示した。
小野寺 直幸; 井戸村 泰宏; 長谷川 雄太; 山下 晋; 下川辺 隆史*; 青木 尊之*
Proceedings of International Conference on High Performance Computing in Asia-Pacific Region (HPC Asia 2021) (Internet), p.120 - 128, 2021/01
被引用回数:0 パーセンタイル:0.01本研究では、二相流体解析コードJUPITERに対して、マルチグリッド前処理付き共役勾配(MG-CG)法を開発した。MG法は、3段のVサイクルMG法に基づいて構築し、各段に対して、RB-SOR法およびGPUのキャッシュを再利用したCR-SORを開発・適用した。性能測定として、バンドル体系に対する気液二相流体解析を行った。RB-SOR法およびCR-SOR法を適用したMG-CG法では、MG法を適用しないPCG法と比較して、収束までの反復回数を15%と9%以下に削減するとともに、3.1倍, 5.9倍の計算速度が達成された。以上の結果から、本研究で開発したMG-CG法は、GPUを用いたスーパーコンピュータ上にて、効率的に大規模な二相流体解析が可能であることが示された。
長谷川 雄太; 小野寺 直幸; 井戸村 泰宏
第34回数値流体力学シンポジウム講演論文集(インターネット), 3 Pages, 2020/12
都市風況および汚染物質拡散解析を行うため、局所細分化格子ボルツマン法を用いた実時間アンサンブル計算コードを開発した。開発したコードを、産業技術総合研究所による風洞実験、およびオクラホマシティでの野外拡散実験JU2003と比較した。風洞実験に対する検証では、風況は実験とよく一致するとともに、トレーサ物質の濃度は、環境アセスメントガイドラインで示されている評価指標であるFACTOR2に対し、61.2%の正答率を達成した。野外拡散実験JU2003においては、風速の瞬時値は実験とよく一致したが、風向は最大で100のずれがあった。一方で、トレーサ物質濃度の平均値は、全時間区間においてFACTOR2を満たした。以上の結果より本コードは環境アセスメントに対して十分な精度を持つことを示した。