超大规模结构网格CFD数值模拟初步研究
收稿日期: 2023-11-13
修回日期: 2024-02-28
录用日期: 2024-03-11
网络出版日期: 2024-04-19
基金资助
国家重点研发计划(2020YFB1506701)
A pilot study on CFD numerical simulation of ultra-large-scale structured grid
Received date: 2023-11-13
Revised date: 2024-02-28
Accepted date: 2024-03-11
Online published: 2024-04-19
Supported by
National Key Research and Development Program of China(2020YFB1506701)
基于国家数值风洞（NNW）系统的流固耦合模拟软件平台NNW-FSI，系统性地提出了解决超大规模结构网格生成的重构加密方法，以及基于多重网格粗化技术的壁面距离搜索、重叠网格贡献单元搜索和拼接网格拼接单元搜索算法，并基于同构系统的纯MPI方法和MPI+OpenMP混合并行方法，基于异构系统的MPI+OpenACC混合并行方法，开发了超大规模结构网格CFD数值模拟的前置网格生成模块、流场求解模块和后置显示模块。在国产大型同构和异构集群系统上，实现了百亿级超大规模结构网格在百万核上的CFD数值模拟，取得了良好的并行效率。数值结果表明，该方法具有良好的网格收敛性、多核一致性和计算精度，为下一步的工作展开打下了良好基础。
洪俊武 , 李伟 , 岳皓 , 孟德虹 , 孙岩 . 超大规模结构网格CFD数值模拟初步研究[J]. 航空学报, 2024 , 45(20) : 129866 -129866 . DOI: 10.7527/S1000-6893.2024.29866
Based on NNW-FSI， a Fluid-Structure Interaction （FSI） simulation software platform for National Numerical Windtunnel （NNW） systems， several key methods for ultra-large-scale CFD parallelization are systematically proposed in this paper， including the grid reconstruction method for generating ultra-large-scale structured grid， the method for searching wall distance based on the multigrid coarsening technology， the algorithm for searching contribution unit in overset grid， and the algorithm for searching cross unit in the patched grid. Meanwhile， the pre-grid generation module， flow field solving module and post-display module for CFD numerical simulation of the ultra-large-scale structured grid are developed based on the supercomputers with different architectures. For the implementation of parallelization， pure MPI and MPI+OpenMP hybrid parallel methods based on homogeneous platforms are used， and MPI+OpenACC hybrid parallel methods based on heterogeneous platforms are used. Using these methods， ultra-large-scale CFD numerical simulation is realized and achieves good parallel efficiency on different domestic supercomputers， and the largest scale has tens of billions of grids running on millions of CPU cores parallelly. The numerical results show that the proposed method achieves good grid convergence， multi-core consistency and high-precision results， which lays a good foundation for the next-step work.
Key words： CFD; parallel computing; structured grid; multi-grid; NNW-FSI
| 1 | SEGALL R S， GUPTA N. Research and applications in global supercomputing［M］. ［S.l.］： IGI Global， 2015： 1-32. |
| 2 | FU H H， LIAO J F， YANG J Z， et al. The Sunway TaihuLight supercomputer： System and applications［J］. Science China Information Sciences， 2016， 59（7）： 072001. |
| 3 | SLOTNICK J， KHODADOUST A， ALONSO J， et al. CFD vision 2030 study： A path to revolutionary computational aerosciences： NASA/CR-2014-218178［R］. Washington，D.C.： NASA， 2014. |
| 4 | 徐传福， 车永刚， 李大力， 等. 天河超级计算机上超大规模高精度计算流体力学并行计算研究进展［J］. 计算机工程与科学， 2020， 42（10）： 1815-1826. |
| XU C F， CHE Y G， LI D L， et al. Research progresses of large-scale parallel computing for high-order CFD on the Tianhe supercomputer［J］. Computer Engineering & Science， 2020， 42（10）： 1815-1826 （in Chinese）. | |
| 5 | 王光学， 张玉伦， 李松， 等. WCNS高精度并行软件的大规模计算研究［J］. 计算机工程与科学， 2012， 34（8）： 125-130. |
| WANG G X， ZHANG Y L， LI S， et al. A study on massively parallel computation［J］. Computer Engineering & Science， 2012， 34（8）： 125-130 （in Chinese）. | |
| 6 | 王勇献， 张理论， 车永刚， 等. 结构网格CFD应用程序在天河超级计算机上的高效并行与优化［J］. 电子学报， 2015， 43（1）： 36-44. |
| WANG Y X， ZHANG L L， CHE Y G， et al. Efficient parallel computing and performance tuning for multi-block structured grid CFD applications on Tianhe supercomputer［J］. Acta Electronica Sinica， 2015， 43（1）： 36-44 （in Chinese）. | |
| 7 | YANG X J， LIAO X K， LU K， et al. The TianHe-1A supercomputer： Its hardware and software［J］. Journal of Computer Science and Technology， 2011， 26（3）： 344-351. |
| 8 | HE F， DONG X S， ZOU N J， et al. Structured mesh-oriented framework design and optimization for a coarse-grained parallel CFD solver based on hybrid MPI/OpenMP programming［J］. The Journal of Supercomputing， 2020， 76（4）： 2815-2841. |
| 9 | TOP 500 supercomputing sites［EB/OL］. 2024. . |
| 10 | LIU X Z， LU Z H， YUAN W， et al. Massively parallel CFD simulation software： CCFD development and optimization based on Sunway TaihuLight［J］. Scientific Programming， 2020， 2020： 8847481. |
| 11 | 王年华， 常兴华， 赵钟， 等. 非结构CFD软件MPI+OpenMP混合并行及超大规模非定常并行计算的应用［J］. 航空学报， 2020， 41（10）： 123859. |
| WANG N H， CHANG X H， ZHAO Z， et al. Implementation of hybrid MPI+OpenMP parallelization on unstructured CFD solver and its applications in massive unsteady simulations［J］. Acta Aeronautica et Astronautica Sinica， 2020， 41（10）： 123859 （in Chinese）. | |
| 12 | 张健， 李瑞田， 邓亮， 等. 面向多核CPU/众核GPU架构的非结构CFD共享内存并行计算技术［J］. 航空学报， 2024， 45（7）： 128888. |
| ZHANG J， LI R T， DENG L， et al. Shared-memory parallelization technology of unstructured CFD solver for multi-core CPU/many-core GPU architecture［J］. Acta Aeronautica et Astronautica Sinica， 2024， 45（7）： 128888 （in Chinese）. | |
| 13 | 孙岩， 王昊， 江盟， 等. NNW-FSI软件静气动弹性耦合加速策略设计与实现［J］. 航空学报， 2021， 42（9）： 625738. |
| SUN Y， WANG H， JIANG M， et al. Design and implementation of coupling acceleration strategy in static aeroelastic module of NNW-FSI software［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（9）： 625738 （in Chinese）. | |
| 14 | 陈坚强. 国家数值风洞（NNW）工程关键技术研究进展［J］. 中国科学： 技术科学， 2021， 51（11）： 1326-1347. |
| CHEN J Q. Advances in the key technologies of Chinese national numerical windtunnel project［J］. Scientia Sinica （Technologica）， 2021， 51（11）： 1326-1347 （in Chinese）. | |
| 15 | 赵慧勇， 贺旭照， 乐嘉陵. 一种新的壁面距离计算方法： 循环盒子法［J］. 计算物理， 2008， 25（4）： 427-430. |
| ZHAO H Y， HE X Z， LE J L. Recursive box method for wall distance computation［J］. Chinese Journal of Computational Physics， 2008， 25（4）： 427-430 （in Chinese）. | |
| 16 | 郭中州， 何志强， 夏陈超， 等. 高效计算网格壁面距离的KD树方法［J］. 国防科技大学学报， 2017， 39（4）： 21-25. |
| GUO Z Z， HE Z Q， XIA C C， et al. KD tree method for efficient wall distance computation of mesh［J］. Journal of National University of Defense Technology， 2017， 39（4）： 21-25 （in Chinese）. | |
| 17 | 赵钟， 何磊， 张健， 等. 湍流模拟壁面距离MPI/OpenMP混合并行计算方法［J］. 空气动力学学报， 2019， 37（6）： 883-892. |
| ZHAO Z， HE L， ZHANG J， et al. MPI/OpenMP hybrid parallel computation of wall distance for turbulence flow simulations［J］. Acta Aerodynamica Sinica， 2019， 37（6）： 883-892 （in Chinese）. | |
| 18 | 阎超， 于剑， 徐晶磊， 等. CFD模拟方法的发展成就与展望［J］. 力学进展， 2011， 41（5）： 562-589. |
| YAN C， YU J， XU J L， et al. On the achievements and prospects for the methods of computational fluid dynamics［J］. Advances in Mechanics， 2011， 41（5）： 562-589 （in Chinese）. | |
| 19 | 陈坚强， 吴晓军， 张健， 等. FlowStar： 国家数值风洞（NNW）工程非结构通用CFD软件［J］. 航空学报， 2021， 42（9）： 625739. |
| CHEN J Q， WU X J， ZHANG J， et al. FlowStar： General unstructured-grid CFD software for National Numerical Windtunnel（NNW） Project［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（9）： 625739 （in Chinese）. | |
| 20 | 杨文青， 宋笔锋， 宋文萍. 高效确定重叠网格对应关系的距离减缩法及其应用［J］. 航空学报， 2009， 30（2）： 205-212. |
| YANG W Q， SONG B F， SONG W P. Distance decreasing method for confirming corresponding cells of overset grids and its application［J］. Acta Aeronautica et Astronautica Sinica， 2009， 30（2）： 205-212 （in Chinese）. | |
| 21 | 王文， 阎超， 袁武， 等. 新型重叠网格洞面优化方法及其应用［J］. 航空学报， 2016， 37（3）： 826-835. |
| WANG W， YAN C， YUAN W， et al. Novel overlapping optimization algorithm of overlapping grid and its applications［J］. Acta Aeronautica et Astronautica Sinica， 2016， 37（3）： 826-835 （in Chinese）. | |
| 22 | 郭永恒， 江雄， 肖中云， 等. 一种自动化并行重叠网格隐式装配方法［J］. 航空学报， 2021， 42（6）： 124369. |
| GUO Y H， JIANG X， XIAO Z Y， et al. An automatic parallel and implicit assembly method for overset grid［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（6）： 124369 （in Chinese）. | |
| 23 | 李鹏， 高振勋， 蒋崇文. 重叠网格方法的研究进展［J］. 力学与实践， 2014， 36（5）： 551-565. |
| LI P， GAO Z X， JIANG C W. The progress of the overlapping grid techniques［J］. Mechanics in Engineering， 2014， 36（5）： 551-565 （in Chinese）. | |
| 24 | 刘夏真， 袁武， 马文鹏， 等. CCFD重叠网格并行算法设计和优化［J］. 计算机工程与科学， 2020， 42（10）： 1833-1841. |
| LIU X Z， YUAN W， MA W P， et al. Design and optimization of CCFD overlapping grid parallel algorithm［J］. Computer Engineering & Science， 2020， 42（10）： 1833-1841 （in Chinese）. | |
| 25 | 王文， 阎超， 袁武， 等. 鲁棒的结构网格自动化重叠方法［J］. 航空学报， 2016， 37（10）： 2980-2991. |
| WANG W， YAN C， YUAN W， et al. A robust and automatic structured overlapping grid approach［J］. Acta Aeronautica et Astronautica Sinica， 2016， 37（10）： 2980-2991 （in Chinese）. | |
| 26 | 洪俊武， 梁孝平， 王光学， 等. 多重拼接网格技术应用研究［J］. 空气动力学学报， 2007， 25（1）： 45-49， 54. |
| HONG J W， LIANG X P， WANG G X， et al. The research of application for cross-multigrid technology［J］. Acta Aerodynamica Sinica， 2007， 25（1）： 45-49， 54 （in Chinese）. | |
| 27 | 洪俊武， 王运涛， 李伟， 等. HiLiftPW-3高升力构型数值模拟［J］. 航空学报， 2019， 40（3）： 122391. |
| HONG J W， WANG Y T， LI W， et al. Numerical simulation of high-lift configuration from HiLiftPW-3［J］. Acta Aeronautica et Astronautica Sinica， 2019， 40（3）： 122391 （in Chinese）. | |
| 28 | 赵轲， 高正红， 黄江涛， 等. 拼接网格技术在复杂流场数值模拟中的应用研究［J］. 应用力学学报， 2011， 28（1）： 69-74， 111. |
| ZHAO K， GAO Z H， HUANG J T， et al. Applications of the patched-grid technology in numerical simulation of flowfield［J］. Chinese Journal of Applied Mechanics， 2011， 28（1）： 69-74， 111 （in Chinese）. | |
| 29 | LACY D S， SCLAFANI A J. Development of the high lift common research model （HL-CRM）： A representative high lift configuration for transonic transports［C］∥Proceedings of the 54th AIAA Aerospace Sciences Meeting. Reston： AIAA， 2016. |
| 30 | 洪俊武， 王运涛， 庞宇飞， 等. 结构网格方法对高升力构型的应用研究［J］. 空气动力学学报， 2013， 31（1）： 75-81. |
| HONG J W， WANG Y T， PANG Y F， et al. Numerical research of high-lift configurations by structured mesh method［J］. Acta Aerodynamica Sinica， 2013， 31（1）： 75-81 （in Chinese）. | |
| 31 | RUMSEY C， LONG M， STUEVER R， et al. Summary of the first AIAA CFD high lift prediction workshop［C］∥Proceedings of the 49th AIAA Aerospace Sciences Meeting including the New Horizons Forum and Aerospace Exposition. Reston： AIAA， 2011. |
| 32 | VASSBERG J， DEHAAN M， RIVERS M， et al. Development of a common research model for applied CFD validation studies［C］∥Proceedings of the 26th AIAA Applied Aerodynamics Conference. Reston： AIAA， 2008. |
| 33 | 李伟， 王运涛， 洪俊武， 等. 采用TRIP3.0模拟CHN-T1模型气动特性［J］. 空气动力学学报， 2019， 37（2）： 272-279. |
| LI W， WANG Y T， HONG J W， et al. Aerodynamic characteristics simulation of CHN-T1 model with TRIP3.0［J］. Acta Aerodynamica Sinica， 2019， 37（2）： 272-279 （in Chinese）. | |
| 34 | YATES E C J. AGARD standard aeroelastic configura-tions for dynamic response I—Wing 445.6［J］. European Psychiatry， 1988， 4（1）： 23-30. |
/
| 〈 |
|
〉 |
CJA