超大规模结构网格CFD数值模拟初步研究

doi:10.7527/S1000-6893.2024.29866

流体力学与飞行力学

本期目录 | 过刊浏览 | 高级检索

前一篇 |

超大规模结构网格CFD数值模拟初步研究

洪俊武, 李伟, 岳皓(), 孟德虹, 孙岩

中国空气动力研究与发展中心计算空气动力研究所，绵阳 621000

收稿日期:2023-11-13 修回日期:2024-02-28 接受日期:2024-03-11 出版日期:2024-04-25 发布日期:2024-04-19
通讯作者: 岳皓 E-mail:haoeryue15@163.com
基金资助:
国家重点研发计划(2020YFB1506701)

A pilot study on CFD numerical simulation of ultra-large-scale structured grid

Junwu HONG, Wei LI, Hao YUE(), Dehong MENG, Yan SUN

Computational Aerodynamics Institute，China Aerodynamics Research and Development Center，Mianyang 621000，China

Received:2023-11-13 Revised:2024-02-28 Accepted:2024-03-11 Online:2024-04-25 Published:2024-04-19
Contact: Hao YUE E-mail:haoeryue15@163.com
Supported by:
National Key Research and Development Program of China(2020YFB1506701)

摘要/Abstract

摘要：

基于国家数值风洞（NNW）系统的流固耦合模拟软件平台NNW-FSI，系统性地提出了解决超大规模结构网格生成的重构加密方法，以及基于多重网格粗化技术的壁面距离搜索、重叠网格贡献单元搜索和拼接网格拼接单元搜索算法，并基于同构系统的纯MPI方法和MPI+OpenMP混合并行方法，基于异构系统的MPI+OpenACC混合并行方法，开发了超大规模结构网格CFD数值模拟的前置网格生成模块、流场求解模块和后置显示模块。在国产大型同构和异构集群系统上，实现了百亿级超大规模结构网格在百万核上的CFD数值模拟，取得了良好的并行效率。数值结果表明，该方法具有良好的网格收敛性、多核一致性和计算精度，为下一步的工作展开打下了良好基础。

关键词: CFD, 并行计算, 结构网格, 多重网格, NNW-FSI

Abstract:

Based on NNW-FSI， a Fluid-Structure Interaction （FSI） simulation software platform for National Numerical Windtunnel （NNW） systems， several key methods for ultra-large-scale CFD parallelization are systematically proposed in this paper， including the grid reconstruction method for generating ultra-large-scale structured grid， the method for searching wall distance based on the multigrid coarsening technology， the algorithm for searching contribution unit in overset grid， and the algorithm for searching cross unit in the patched grid. Meanwhile， the pre-grid generation module， flow field solving module and post-display module for CFD numerical simulation of the ultra-large-scale structured grid are developed based on the supercomputers with different architectures. For the implementation of parallelization， pure MPI and MPI+OpenMP hybrid parallel methods based on homogeneous platforms are used， and MPI+OpenACC hybrid parallel methods based on heterogeneous platforms are used. Using these methods， ultra-large-scale CFD numerical simulation is realized and achieves good parallel efficiency on different domestic supercomputers， and the largest scale has tens of billions of grids running on millions of CPU cores parallelly. The numerical results show that the proposed method achieves good grid convergence， multi-core consistency and high-precision results， which lays a good foundation for the next-step work.

Key words: CFD, parallel computing, structured grid, multi-grid, NNW-FSI

中图分类号:

V211.3

洪俊武, 李伟, 岳皓, 孟德虹, 孙岩. 超大规模结构网格CFD数值模拟初步研究[J]. 航空学报, 2024, 45(20): 129866.

Junwu HONG, Wei LI, Hao YUE, Dehong MENG, Yan SUN. A pilot study on CFD numerical simulation of ultra-large-scale structured grid[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(20): 129866.

图/表 32

图 1

图 2

图 3

图 4

图 5

图 6

图 7

图 8

图 9

图 10

图 11

图 12

图 13

图 14

表 1

图 15

图 16

图 17

图 18

表 2

表 3

图 19

表 4

图 20

表 5

图 21

图 22

图 23

表 6

图 24

图 25

图 26

参考文献 34

1	SEGALL R S， GUPTA N. Research and applications in global supercomputing［M］. ［S.l.］： IGI Global， 2015： 1-32.
2	FU H H， LIAO J F， YANG J Z， et al. The Sunway TaihuLight supercomputer： System and applications［J］. Science China Information Sciences， 2016， 59（7）： 072001.
3	SLOTNICK J， KHODADOUST A， ALONSO J， et al. CFD vision 2030 study： A path to revolutionary computational aerosciences： NASA/CR-2014-218178［R］. Washington，D.C.： NASA， 2014.
4	徐传福，车永刚，李大力，等. 天河超级计算机上超大规模高精度计算流体力学并行计算研究进展［J］. 计算机工程与科学， 2020， 42（10）： 1815-1826.
	XU C F， CHE Y G， LI D L， et al. Research progresses of large-scale parallel computing for high-order CFD on the Tianhe supercomputer［J］. Computer Engineering & Science， 2020， 42（10）： 1815-1826 （in Chinese）.
5	王光学，张玉伦，李松，等. WCNS高精度并行软件的大规模计算研究［J］. 计算机工程与科学， 2012， 34（8）： 125-130.
	WANG G X， ZHANG Y L， LI S， et al. A study on massively parallel computation［J］. Computer Engineering & Science， 2012， 34（8）： 125-130 （in Chinese）.
6	王勇献，张理论，车永刚，等. 结构网格CFD应用程序在天河超级计算机上的高效并行与优化［J］. 电子学报， 2015， 43（1）： 36-44.
	WANG Y X， ZHANG L L， CHE Y G， et al. Efficient parallel computing and performance tuning for multi-block structured grid CFD applications on Tianhe supercomputer［J］. Acta Electronica Sinica， 2015， 43（1）： 36-44 （in Chinese）.
7	YANG X J， LIAO X K， LU K， et al. The TianHe-1A supercomputer： Its hardware and software［J］. Journal of Computer Science and Technology， 2011， 26（3）： 344-351.
8	HE F， DONG X S， ZOU N J， et al. Structured mesh-oriented framework design and optimization for a coarse-grained parallel CFD solver based on hybrid MPI/OpenMP programming［J］. The Journal of Supercomputing， 2020， 76（4）： 2815-2841.
9	TOP 500 supercomputing sites［EB/OL］. 2024. .
10	LIU X Z， LU Z H， YUAN W， et al. Massively parallel CFD simulation software： CCFD development and optimization based on Sunway TaihuLight［J］. Scientific Programming， 2020， 2020： 8847481.
11	王年华，常兴华，赵钟，等. 非结构CFD软件MPI+OpenMP混合并行及超大规模非定常并行计算的应用［J］. 航空学报， 2020， 41（10）： 123859.
	WANG N H， CHANG X H， ZHAO Z， et al. Implementation of hybrid MPI+OpenMP parallelization on unstructured CFD solver and its applications in massive unsteady simulations［J］. Acta Aeronautica et Astronautica Sinica， 2020， 41（10）： 123859 （in Chinese）.
12	张健，李瑞田，邓亮，等. 面向多核CPU/众核GPU架构的非结构CFD共享内存并行计算技术［J］. 航空学报， 2024， 45（7）： 128888.
	ZHANG J， LI R T， DENG L， et al. Shared-memory parallelization technology of unstructured CFD solver for multi-core CPU/many-core GPU architecture［J］. Acta Aeronautica et Astronautica Sinica， 2024， 45（7）： 128888 （in Chinese）.
13	孙岩，王昊，江盟，等. NNW-FSI软件静气动弹性耦合加速策略设计与实现［J］. 航空学报， 2021， 42（9）： 625738.
	SUN Y， WANG H， JIANG M， et al. Design and implementation of coupling acceleration strategy in static aeroelastic module of NNW-FSI software［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（9）： 625738 （in Chinese）.
14	陈坚强. 国家数值风洞（NNW）工程关键技术研究进展［J］. 中国科学：技术科学， 2021， 51（11）： 1326-1347.
	CHEN J Q. Advances in the key technologies of Chinese national numerical windtunnel project［J］. Scientia Sinica （Technologica）， 2021， 51（11）： 1326-1347 （in Chinese）.
15	赵慧勇，贺旭照，乐嘉陵. 一种新的壁面距离计算方法：循环盒子法［J］. 计算物理， 2008， 25（4）： 427-430.
	ZHAO H Y， HE X Z， LE J L. Recursive box method for wall distance computation［J］. Chinese Journal of Computational Physics， 2008， 25（4）： 427-430 （in Chinese）.
16	郭中州，何志强，夏陈超，等. 高效计算网格壁面距离的KD树方法［J］. 国防科技大学学报， 2017， 39（4）： 21-25.
	GUO Z Z， HE Z Q， XIA C C， et al. KD tree method for efficient wall distance computation of mesh［J］. Journal of National University of Defense Technology， 2017， 39（4）： 21-25 （in Chinese）.
17	赵钟，何磊，张健，等. 湍流模拟壁面距离MPI/OpenMP混合并行计算方法［J］. 空气动力学学报， 2019， 37（6）： 883-892.
	ZHAO Z， HE L， ZHANG J， et al. MPI/OpenMP hybrid parallel computation of wall distance for turbulence flow simulations［J］. Acta Aerodynamica Sinica， 2019， 37（6）： 883-892 （in Chinese）.
18	阎超，于剑，徐晶磊，等. CFD模拟方法的发展成就与展望［J］. 力学进展， 2011， 41（5）： 562-589.
	YAN C， YU J， XU J L， et al. On the achievements and prospects for the methods of computational fluid dynamics［J］. Advances in Mechanics， 2011， 41（5）： 562-589 （in Chinese）.
19	陈坚强，吴晓军，张健，等. FlowStar：国家数值风洞（NNW）工程非结构通用CFD软件［J］. 航空学报， 2021， 42（9）： 625739.
	CHEN J Q， WU X J， ZHANG J， et al. FlowStar： General unstructured-grid CFD software for National Numerical Windtunnel（NNW） Project［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（9）： 625739 （in Chinese）.
20	杨文青，宋笔锋，宋文萍. 高效确定重叠网格对应关系的距离减缩法及其应用［J］. 航空学报， 2009， 30（2）： 205-212.
	YANG W Q， SONG B F， SONG W P. Distance decreasing method for confirming corresponding cells of overset grids and its application［J］. Acta Aeronautica et Astronautica Sinica， 2009， 30（2）： 205-212 （in Chinese）.
21	王文，阎超，袁武，等. 新型重叠网格洞面优化方法及其应用［J］. 航空学报， 2016， 37（3）： 826-835.
	WANG W， YAN C， YUAN W， et al. Novel overlapping optimization algorithm of overlapping grid and its applications［J］. Acta Aeronautica et Astronautica Sinica， 2016， 37（3）： 826-835 （in Chinese）.
22	郭永恒，江雄，肖中云，等. 一种自动化并行重叠网格隐式装配方法［J］. 航空学报， 2021， 42（6）： 124369.
	GUO Y H， JIANG X， XIAO Z Y， et al. An automatic parallel and implicit assembly method for overset grid［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（6）： 124369 （in Chinese）.
23	李鹏，高振勋，蒋崇文. 重叠网格方法的研究进展［J］. 力学与实践， 2014， 36（5）： 551-565.
	LI P， GAO Z X， JIANG C W. The progress of the overlapping grid techniques［J］. Mechanics in Engineering， 2014， 36（5）： 551-565 （in Chinese）.
24	刘夏真，袁武，马文鹏，等. CCFD重叠网格并行算法设计和优化［J］. 计算机工程与科学， 2020， 42（10）： 1833-1841.
	LIU X Z， YUAN W， MA W P， et al. Design and optimization of CCFD overlapping grid parallel algorithm［J］. Computer Engineering & Science， 2020， 42（10）： 1833-1841 （in Chinese）.
25	王文，阎超，袁武，等. 鲁棒的结构网格自动化重叠方法［J］. 航空学报， 2016， 37（10）： 2980-2991.
	WANG W， YAN C， YUAN W， et al. A robust and automatic structured overlapping grid approach［J］. Acta Aeronautica et Astronautica Sinica， 2016， 37（10）： 2980-2991 （in Chinese）.
26	洪俊武，梁孝平，王光学，等. 多重拼接网格技术应用研究［J］. 空气动力学学报， 2007， 25（1）： 45-49， 54.
	HONG J W， LIANG X P， WANG G X， et al. The research of application for cross-multigrid technology［J］. Acta Aerodynamica Sinica， 2007， 25（1）： 45-49， 54 （in Chinese）.
27	洪俊武，王运涛，李伟，等. HiLiftPW-3高升力构型数值模拟［J］. 航空学报， 2019， 40（3）： 122391.
	HONG J W， WANG Y T， LI W， et al. Numerical simulation of high-lift configuration from HiLiftPW-3［J］. Acta Aeronautica et Astronautica Sinica， 2019， 40（3）： 122391 （in Chinese）.
28	赵轲，高正红，黄江涛，等. 拼接网格技术在复杂流场数值模拟中的应用研究［J］. 应用力学学报， 2011， 28（1）： 69-74， 111.
	ZHAO K， GAO Z H， HUANG J T， et al. Applications of the patched-grid technology in numerical simulation of flowfield［J］. Chinese Journal of Applied Mechanics， 2011， 28（1）： 69-74， 111 （in Chinese）.
29	LACY D S， SCLAFANI A J. Development of the high lift common research model （HL-CRM）： A representative high lift configuration for transonic transports［C］∥Proceedings of the 54th AIAA Aerospace Sciences Meeting. Reston： AIAA， 2016.
30	洪俊武，王运涛，庞宇飞，等. 结构网格方法对高升力构型的应用研究［J］. 空气动力学学报， 2013， 31（1）： 75-81.
	HONG J W， WANG Y T， PANG Y F， et al. Numerical research of high-lift configurations by structured mesh method［J］. Acta Aerodynamica Sinica， 2013， 31（1）： 75-81 （in Chinese）.
31	RUMSEY C， LONG M， STUEVER R， et al. Summary of the first AIAA CFD high lift prediction workshop［C］∥Proceedings of the 49th AIAA Aerospace Sciences Meeting including the New Horizons Forum and Aerospace Exposition. Reston： AIAA， 2011.
32	VASSBERG J， DEHAAN M， RIVERS M， et al. Development of a common research model for applied CFD validation studies［C］∥Proceedings of the 26th AIAA Applied Aerodynamics Conference. Reston： AIAA， 2008.
33	李伟，王运涛，洪俊武，等. 采用TRIP3.0模拟CHN-T1模型气动特性［J］. 空气动力学学报， 2019， 37（2）： 272-279.
	LI W， WANG Y T， HONG J W， et al. Aerodynamic characteristics simulation of CHN-T1 model with TRIP3.0［J］. Acta Aerodynamica Sinica， 2019， 37（2）： 272-279 （in Chinese）.
34	YATES E C J. AGARD standard aeroelastic configura-tions for dynamic response I—Wing 445.6［J］. European Psychiatry， 1988， 4（1）： 23-30.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

网格系列	网格单元数	首层距离/mm	Y⁺
极粗	4 318 976	0.06	1.334
粗	14 576 544	0.04	0.889
中	34 551 808	0.03	0.667
细	116 612 352	0.02	0.444
极细	932 898 816	0.01	0.222

处理器数/个	平均网格数/万	计算时间/s	相对加速比	并行效率/%
1 024	120.96	773	1.00	100.00
2 048	60.48	395	1.96	97.85
4 096	30.24	208	3.72	92.91
8 192	15.12	113	6.84	85.50
9 600	12.90	110	7.03	74.96

核数	C_L	C_D	C_m
96	0.586 1	0.034 18	-0.058 55
160	0.586 2	0.034 20	-0.058 34
480	0.586 3	0.034 20	-0.058 61
960	0.586 5	0.034 23	-0.058 29
2 400	0.586 6	0.034 25	-0.058 47
4 800	0.586 7	0.034 27	-0.058 03
9 600	0.586 8	0.034 30	-0.057 88

网格系列	单元数	首层距离/（10⁶ m）
粗	6 033 312	1.33
中	14 301 184	1.00
细	48 266 496	0.75
极细	10 425 563 136	1.11

网格系列	α/（°）	C_L	C_D	C_m
粗	2.594 1	0.500 0	0.031 43	0.043 89
中	2.609 7	0.500 1	0.031 05	0.043 88
细	2.621 7	0.500 0	0.030 88	0.043 47
极细	2.635 4	0.500 1	0.030 88	0.043 89

超大规模结构网格CFD数值模拟初步研究

A pilot study on CFD numerical simulation of ultra-large-scale structured grid

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 32

参考文献 34

相关文章 15

编辑推荐

Metrics

本文评价

计算平台	网格规模/亿	并行规模/10³	CPU类型	基准核数/10³	加速比	并行效率/%
天河二号	16	96	Intel	2	17.1	35.6
天河二号	55	320	飞腾	10	10.09	31.5
天河三号	16	96	飞腾	6	9.29	58.1
曙光E级	16	16	海光	2	5.56	69.5

[1]	刘琦, 史勇杰, 胡志远, 徐国华. 共轴刚性旋翼气动及噪声特性的参数影响分析[J]. 航空学报, 2024, 45(9): 528856-528856.
[2]	崔壮壮, 原昕, 赵国庆, 井思梦, 招启军. 共轴刚性旋翼高速直升机前飞性能操纵策略影响[J]. 航空学报, 2024, 45(9): 529256-529256.
[3]	杨华, 陈树生, 高正红, 姜权峰, 张伟. 基于贝叶斯框架的旋翼气动力数据融合[J]. 航空学报, 2024, 45(8): 128960-128960.
[4]	张健, 李瑞田, 邓亮, 代喆, 刘杰, 徐传福. 面向多核CPU/众核GPU架构的非结构CFD共享内存并行计算技术[J]. 航空学报, 2024, 45(7): 128888-128888.
[5]	王华龙, 张夏阳, 赵国庆, 招启军, 马砾. 基于CFD/CSD耦合的TEF旋翼气弹特性高精度模拟[J]. 航空学报, 2024, 45(18): 229904-229904.
[6]	朱嘉兴, 李奕宁, 牛世勇, 田一松, 李頔, 解一鸣. 基于CFD计算域分区耦合技术的航空微型溢流阀流固耦合全域数值计算[J]. 航空学报, 2024, 45(15): 630202-630202.
[7]	刘永华, 徐国华, 史勇杰, 杜振宇, 张慧鑫, 胡志远. 强旋翼尾迹涡干扰对直升机空速测量的影响[J]. 航空学报, 2024, 45(14): 129536-129536.
[8]	刘钒, 黄霞, 马率, 张露, 崔兴达, 鲍鑫彪. 基于MBD-CFD的软管-锥套空中加油仿真框架[J]. 航空学报, 2023, 44(20): 628408-628408.
[9]	康伟, 胡仕林, 王彦清. 介电弹性薄膜翼型的增升效应机理[J]. 航空学报, 2023, 44(18): 128318-128318.
[10]	刘衍旭, 陈树生, 冯聪, 顾奕然, 高正红. 高超声速滑翔飞行器锐边化气动隐身一体化设计[J]. 航空学报, 2023, 44(16): 128093-128093.
[11]	胡姝瑶, 蒋崇文, 李椿萱. 可压缩流动模拟的多重网格-扰动域推进方法[J]. 航空学报, 2023, 44(11): 127649-127649.
[12]	夏侯唐凡, 陈江涛, 邵志栋, 吴晓军, 刘宇. 随机和认知不确定性框架下的CFD模型确认度量综述[J]. 航空学报, 2022, 43(8): 25716-025716.
[13]	杨鲤铭, 吴杰, 董昊, 杜银杰. 基于速度空间非结构网格和守恒修正的改进离散速度方法[J]. 航空学报, 2022, 43(12): 627033-627033.
[14]	王海峰, 邓枫, 刘学强, 覃宁. 基于喷流作用的自然层流翼型阵风载荷减缓控制[J]. 航空学报, 2022, 43(11): 526767-526767.
[15]	阎超. 航空CFD四十年的成就与困境[J]. 航空学报, 2022, 43(10): 526490-526490.