差异化保障需求驱动的舰载机多机协同决策方法

doi:10.7527/S1000-6893.2024.31274

论文

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

差异化保障需求驱动的舰载机多机协同决策方法

陈伟¹, 李璐璐¹, 陈董¹^,²^,³, 张少辉¹^,⁴, 李亚飞¹^,²^,³(), 王可¹^,²^,³, 靳远远¹^,²^,³, 徐明亮¹^,²^,³

^1.郑州大学计算机与人工智能学院，郑州 450001
^2.智能集群系统教育部工程研究中心，郑州 450001
^3.国家超级计算郑州中心，郑州 450001
^4.周口师范学院人工智能学院，周口 466001

收稿日期:2024-09-27 修回日期:2024-10-24 接受日期:2024-12-06 出版日期:2024-12-24 发布日期:2024-12-23
通讯作者: 李亚飞 E-mail:ieyfli@zzu.edu.cn
基金资助:
国家自然科学基金(62372416);国家自然科学基金(62302460);国家自然科学基金(61972362);国家自然科学基金(62036010);国家自然科学基金(62325602);河南省自然科学基金(242300421215);中国博士后科学基金(2022TQ0297);中国博士后科学基金(2020M682348)

Multi-aircraft cooperative decision-making methods driven by differentiated support demands for carrier-based aircraft

Wei CHEN¹, Lulu LI¹, Dong CHEN¹^,²^,³, Shaohui ZHANG¹^,⁴, Yafei LI¹^,²^,³(), Ke WANG¹^,²^,³, Yuanyuan JIN¹^,²^,³, Mingliang XU¹^,²^,³

^1.School of Computer Science and Artificial Intelligence，Zhengzhou University，Zhengzhou 450001，China
^2.Intelligent Cluster System Engineering Research Center of the Ministry of Education，Zhengzhou 450001，China
^3.National Supercomputing Center in Zhengzhou，Zhengzhou 450001，China
^4.School of Artificial Intelligence，Zhoukou Normal University，Zhoukou 466001，China

Received:2024-09-27 Revised:2024-10-24 Accepted:2024-12-06 Online:2024-12-24 Published:2024-12-23
Contact: Yafei LI E-mail:ieyfli@zzu.edu.cn
Supported by:
National Natural Science Foundation of China(62372416);Natural Science Foundation of Henan(242300421215);China Postdoctoral Science Foundation(2022TQ0297)

摘要/Abstract

摘要：

多机种舰载机编队作战是现代航母作战的核心模式，保障能力是决定现代海战胜负的关键。然而，实战中多机种舰载机保障过程面临着多重挑战，包括舰载机保障流程的差异性、保障资源的多元化约束以及作业工序的复杂性。为应对这些挑战，提出了一种新的依赖感知的任务决策调度模型DATSDM。该模型结合图神经网络，深入剖析保障流程的网络结构关系，实现了跨规模、多机种集群保障资源的高效调度。同时，DATSDM还融合了Transformer模型，能够并行处理舰载机保障资源调度任务，大幅缩短多机协同保障时间。实验结果显示，DATSDM在大规模舰载机资源配置场景中表现卓越，相比同类算法，能将多机种舰载机编队保障时间降低约13.36%，提升了多机种舰载机协同保障效率与作战效能。

关键词: 舰载机, 深度强化学习, 图神经网络, 调度优化, 资源分配

Abstract:

In modern naval warfare， the effectiveness of carrier-borne aircraft operations is crucial， and multi-type carrier-borne aircraft formations have become the fundamental operational paradigm for aircraft carriers. However， collaborative decision making for carrier-borne aircraft support faces significant challenges due to differentiated support processes， deck space limitations， and complex maintenance procedures. To address these scheduling challenges， we propose a novel Dependency-Aware Task Scheduling Decision Module （DATSDM）. By leveraging graph neural networks， DATSDM delves into the intricate network structure of support processes， enabling efficient and precise scheduling of support resources across varying scales and multi-type carrier-borne aircraft clusters. Furthermore， DATSDM incorporates the strengths of transformer， harnessing its attention mechanism to parallelly analyze and process carrier-borne aircraft support information， thereby significantly reducing support times. Extensive experiments demonstrate the remarkable superiority of DATSDM over its peers. In various resource allocation scenarios for multiple carrier-borne aircraft types， DATSDM reduces support time by 13.36%. This improvement significantly enhances the overall support efficiency and combat readiness of multi-type carrier-borne aircraft.

Key words: carrier-based aircraft, deep reinforcement learning, graph neural networks, scheduling optimization, resource allocation

中图分类号:

陈伟, 李璐璐, 陈董, 张少辉, 李亚飞, 王可, 靳远远, 徐明亮. 差异化保障需求驱动的舰载机多机协同决策方法[J]. 航空学报, 2025, 46(13): 531274.

Wei CHEN, Lulu LI, Dong CHEN, Shaohui ZHANG, Yafei LI, Ke WANG, Yuanyuan JIN, Mingliang XU. Multi-aircraft cooperative decision-making methods driven by differentiated support demands for carrier-based aircraft[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(13): 531274.

图/表 14

图 1

图 2

图 3

图 4

图 5

表 1

站位资源分布设置

站位	资源	站位	资源
$p 1$	$τ 2, τ 3, τ 8, τ 9$	$p 9$	$τ 1, τ 5, τ 7, τ 11$
$p 2$	$τ 2, τ 4, τ 8, τ 12$	$p 10$	$τ 1, τ 2, τ 4, τ 7, τ 12$
$p 3$	$τ 2, τ 7, τ 11$	$p 11$	$τ 2, τ 3, τ 5, τ 8$
$p 4$	$τ 2, τ 4, τ 6, τ 8, τ 10$	$p 12$	$τ 4, τ 7, τ 8, τ 11$
$p 5$	$τ 1, τ 2, τ 3$	$p 13$	$τ 1, τ 8, τ 12$
$p 6$	$τ 1, τ 2, τ 4, τ 7$	$p 14$	$τ 6, τ 9, τ 10$
$p 7$	$τ 1, τ 9, τ 10$	$p 15$	$τ 2, τ 7, τ 11$
$p 8$	$τ 1, τ 3, τ 8, τ 11$	$p 16$	$τ 3, τ 4, τ 8, τ 9$

表 1

表 2

超参数设置

超参数	数值	超参数	数值
$γ$	0.99	$H$	8
$L 1$	6	$E$	100
$L 2$	6	$E n u m$	1 000
$L 3$	6	$β$	0.001
$α 0$	0.99	$d x$	64

表 2

图 6

表 3

不同算法在多机种舰载机调度下的结果对比

算法	5 $×$ 2架		10 $×$ 2架		15 $×$ 2架		20 $×$ 2架		25 $×$ 2架		30 $×$ 2架
算法	$ϵ$ /%	Avg/s	$ϵ$ /%	Avg/s	$ϵ$ /%	Avg/s	$ϵ$ /%	Avg/s	$ϵ$ /%	Avg/s	$ϵ$ /%	Avg/s
GREEDY	87.9	1 785.7	102.7	2 195.9	115.9	2 413.3	86.1	2 863.6	69.7	3 319.1	63.7	3 949.4
HAS	77.4	1 855.2	86.4	2 312.2	102.8	2 523.2	75.6	2 932.4	56.9	3 465.9	49.9	4 135.4
MAPPO	73.6	1 716.1	83.6	2 104.7	100.7	2 369.5	376.7	2 768.7	57.8	3 203.9	49.7	3 800.3
MSCTA	80.4	1 720.5	91.6	2 149.8	106.5	2 345.3	81.4	2 790.6	62.3	3 224.1	56.1	3 785.6
DATSDM	73.7	1 719.5	83.3	2 099.4	98.2	2 312.2	68.8	2 659.3	50.3	3 058.5	43.0	3 615.4

表 3

图 7

表 4

不同算法舰载机平均等待时间

算法	平均等待时间/s
算法	5 $×$ 2架	15 $×$ 2架	25 $×$ 2架
GREEDY	55.44	285.23	513.23
HAS	62.23	275.12	436.65
MAPPO	63.94	299.67	485.54
MSCTA	57.32	330.43	580.48
DATSDM	61.66	276.32	457.23

表 4

表 5

表 6

图 8

参考文献 36

[1]	刘东，吴家仁，周一舟，等. 舰载机综合保障技术实践及发展展望［J］. 航空学报， 2021， 42（8）： 525802.
	LIU D， WU J R， ZHOU Y Z， et al. Practice and prospects of comprehensive support technologies of carrier-based aircraft［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（8）： 525802 （in Chinese）.
[2]	屈也频，金惠明，何肇雄. 航母舰载机装备体系及指标论证方法［J］. 航空学报， 2018， 39（5）： 221675.
	QU Y P， JIN H M， HE Z X. Carrier-based aircraft equipment system-of-systems and index demonstration method‍［J］. Acta Aeronautica et Astronautica Sinica， 2018， 39（5）： 221675 （in Chinese）.
[3]	万兵，韩维，苏析超，等. 基于CE-PF算法的舰载机离场调度优化问题［J］. 北京航空航天大学学报， 2022， 48（5）： 771-785.
	WAN B， HAN W， SU X C， et al. Carrier-based aircraft departure scheduling optimization based on CE-PF algorithm‍［J］. Journal of Beijing University of Aeronautics and Astronautics， 2022， 48（5）： 771-785 （in Chinese）.
[4]	刘翱，刘克. 舰载机保障作业调度问题研究进展［J］. 系统工程理论与实践， 2017， 37（1）： 49-60.
	LIU A， LIU K. Advances in carrier-based aircraft deck operation scheduling［J］. Systems Engineering-Theory & Practice， 2017， 37（1）： 49-60 （in Chinese）.
[5]	万兵，韩维，梁勇，等. 舰载机出动离场调度优化算法［J］. 系统工程与电子技术， 2021， 43（12）： 3624-3634.
	WAN B， HAN W， LIANG Y， et al. Optimization algorithm of carrier-based aircraft sortie departure scheduling［J］. Systems Engineering and Electronics， 2021， 43（12）： 3624-3634 （in Chinese）.
[6]	李亚飞，吴庆顺，徐明亮，等. 基于强化学习的舰载机保障作业实时调度方法［J］. 中国科学：信息科学， 2021， 51（2）： 247-262.
	LI Y F， WU Q S， XU M L， et al. Real-time scheduling for carrier-borne aircraft support operations： A reinforcement learning approach［J］. Scientia Sinica （Informationis）， 2021， 51（2）： 247-262 （in Chinese）.
[7]	朱兴动，孟杨凯，黄葵，等. 基于GA算法的舰载机快速调度［J］. 兵工自动化， 2020， 39（9）： 69-73.
	ZHU X D， MENG Y K， HUANG K， et al. Aircraft fast scheduling based on GA algorithm［J］. Ordnance Industry Automation， 2020， 39（9）： 69-73 （in Chinese）.
[8]	李正阳，张勇，王志梅，等. 基于改进灰色序关系法的舰载机舰面保障方案效能评价［J］. 兵器装备工程学报， 2020， 41（5）： 234-240.
	LI Z Y， ZHANG Y， WANG Z M， et al. Effectiveness evaluation of carrier aircraft support mission scheme based on improved order relation method and grey relation analysis［J］. Journal of Ordnance Equipment Engineering， 2020， 41（5）： 234-240 （in Chinese）.
[9]	吴靳，戴明强，王俊杰，等. 基于学徒制算法的航母舰载机保障作业调度［J］. 中国舰船研究， 2022， 17（4）： 145-154.
	WU J， DAI M Q， WANG J J， et al. Carrier-based aircraft operation support scheduling based on apprenticeship learning agorithm［J］. Chinese Journal of Ship Research， 2022， 17（4）： 145-154 （in Chinese）.
[10]	CUI R W， HAN W， SU X C， et al. A multi-objective hyper heuristic framework for integrated optimization of carrier-based aircraft flight deck operations scheduling and resource configuration‍［J］. Aerospace Science and Technology， 2020， 107： 106346.
[11]	王海峰，王宏亮，阳纯波. 航空装备保障智能化发展认识与探讨［J］. 测控技术， 2020， 39（12）： 1-9， 27.
	WANG H F， WANG H L， YANG C B. Understanding and discussion on intelligence-based aviation materiel support development［J］. Measurement & Control Technology， 2020， 39（12）： 1-9， 27 （in Chinese）.
[12]	王文鹏，邹刚，张玎，等. 基于自适应遗传算法的舰载机保障调度［J］. 兵工自动化， 2021， 40（1）： 37-42.
	WANG W P， ZOU G， ZHANG D， et al. Support scheduling of carrier-based aircraft based on adaptive genetic algorithm［J］. Ordnance Industry Automation， 2021， 40（1）： 37-42 （in Chinese）.
[13]	刘子玄，万兵，苏析超，等. 基于HA算法的舰载机出动作业调度方法［J］. 系统工程与电子技术， 2024， 46（5）： 1691-1702.
	LIU Z X， WAN B， SU X C， et al. Sortie scheduling method of carrier aircraft based on HA algorithm［J］. Systems Engineering and Electronics， 2024， 46（5）： 1691-1702 （in Chinese）.
[14]	范加利，黄葵，朱兴动，等. 基于禁忌算法的舰载机甲板作业动态调度优化算法［J］. 系统工程与电子技术， 2023， 45（10）： 3172-3182.
	FAN J L， HUANG K， ZHU X D， et al. Carrier aircraft deck operations dynamic scheduling optimization algorithm based on the tabu algorithm［J］. Systems Engineering and Electronics， 2023， 45‍（10）： 3172-3182 （in Chinese）.
[15]	LIU J， HAN W， LI J， et al. Integration design of sortie scheduling for carrier aircrafts based on hybrid flexible flowshop‍［J］. IEEE Systems Journal， 2020， 14‍（1）： 1503-1511.
[16]	李亚飞，高磊，蒿宏杰，等. 舰载机保障作业人机协同决策方法［J］. 中国科学：信息科学， 2023， 53（12）： 2493-2510.
	LI Y F， GAO L， HAO H J， et al. Human-machine collaborative decision-making for carrier aircraft support operations［J］. Scientia Sinica （Informationis）， 2023， 53（12）： 2493-2510 （in Chinese）.
[17]	GROVER A， LESKOVEC J. Node2vec： Scalable feature learning for networks［C］∥Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 855-864.
[18]	MIKOLOV T， CHEN K， CORRADO G， et al. Efficient estimation of word representations in vector space［DB/OL］. arXiv preprint： 1301. 3781， 2013.
[19]	GEISLER S， LI Y， MANKOWITZ D J， et al. Transformers meet directed graphs‍［C］‍∥Proceedings of the 40th International Conference on Machine Learning. New York： ACM， 2023： 11144-11172.
[20]	TOLSTIKHIN I O， HOULSBY N， KOLESNIKOV A， et al. MLP-mixer： An all-MLP architecture for vision［C］∥Proceedings of the 35th International Conference on Neural Information Processing Systems. New York： ACM， 2021： 24261-24272.
[21]	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］∥Proceedings of the 31st International Conference on Neural Information Processing Systems. New York： ACM， 2017： 6000-6010.
[22]	LI Q M， HAN Z C， WU X M. Deeper insights into graph convolutional networks for semi-supervised learning［C］∥Proceedings of the AAAI Conference on Artificial Intelligence. New York： ACM， 2018： 3538-3545.
[23]	VINYALS O， FORTUNATO M， JAITLY N. Pointer networks［C］∥Proceedings of the 29th International Conference on Neural Information Processing Systems. New York： ACM， 2015： 2692-2700.
[24]	CHENG C A， XIE T， JIANG N， et al. Adversarially trained actor critic for offline reinforcement learning［C］∥Proceedings of the 39th International Conference on Machine Learning. 2022： 3852-3878.
[25]	MNIH V， BADIA A P， MIRZA M， et al. Asynchronous methods for deep reinforcement learning‍［C］∥Proceedings of the 33rd International Conference on Machine Learning. 2016： 1928-1937.
[26]	SUTTON R S， MCALLESTER D， SINGH S， et al. Policy gradient methods for reinforcement learning with function approximation［C］∥Proceedings of the 12th International Conference on Neural Information Processing Systems. 1999： 1057-1063.
[27]	WANG Z Y， BAPST V， HEESS N， et al. Sample efficient actor-critic with experience replay‍［DB/OL］. arXiv preprint： 1611. 01224， 2017.
[28]	张少辉，刘舜，李亚飞，等. 航空母舰舰载机弹药保障作业调度优化算法［J］. 航空学报， 2023， 44（20）： 228485.
	ZHANG S H， LIU S， LI Y F， et al. Optimization algorithm for ammunition support operation scheduling of carrier-borne aircraft［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（20）： 228485 （in Chinese）.
[29]	朱兴动，赵洋，范加利，等. 基于改进引力搜索算法的舰载机一站式保障作业优化调度方法［J］. 舰船电子工程， 2023， 43（8）： 98-103， 196.
	ZHU X D， ZHAO Y， FAN J L， et al. Optimization and scheduling method for shipborne aircraft one-stop support operations based on improved gravity search algorithm［J］. Ship Electronic Engineering， 2023， 43（8）： 98-103， 196 （in Chinese）.
[30]	ZHANG Y N， LI X， TENG Y， et al. A heuristic rule adaptive selection approach for multi-work package project scheduling problem［J］. Expert Systems with Applications， 2024， 238： 122092.
[31]	VAN HASSELT H， GUEZ A， SILVER D. Deep reinforcement learning with double Q-learning［C］∥Proceedings of the 30th AAAI Conference on Artificial Intelligence. New York： ACM， 2016： 2094-2100.
[32]	YU C， VELU A， VINITSKY E， et al. The surprising effectiveness of PPO in cooperative multi-agent games［C］∥Proceedings of the 36th International Conference on Neural Information Processing Systems. 2022： 24611-24624.
[33]	SCHULMAN J， WOLSKI F， DHARIWAL P， et al. Proximal policy optimization algorithms［DB/OL］. arXiv preprint： 1707. 06347， 2017.
	SCHULMAN J， WOLSKI F， DHARIWAL P， et al. Proximal policy optimization algorithms［DB/OL］. arXiv preprint： 1707. 06347， 2017.
[34]	LIU Z， LI K L， ZHOU X， et al. Multi-stage complex task assignment in spatial crowdsourcing［J］. Information Sciences， 2022， 586： 119-139.
[35]	PARK J， CHUN J， KIM S H， et al. Learning to schedule job-shop problems： Representation and policy learning using graph neural network and reinforcement learning［J］. International Journal of Production Research， 2021， 59（11）： 3360-3377.
[36]	KINGMA D P， BA J， HAMMAD M M. Adam： A method for stochastic optimization［DB/OL］. arXiv preprint： 1412. 6980， 2014.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

算法	规则
SPT（Shortest Processing Time）	优先选择保障时间最短的舰载机
LPT（Longest Processing Time）	优先选择保障时间最长的舰载机
SWTF（Shortest Wait Time First）	优先选择等待保障时间最短的舰载机
LWTF（Longest Wait Time First）	优先选择等待保障时间最长的舰载机
MTF（Most Tasks First）	优先选择保障作业最多的舰载机
LTF（Least Tasks First）	优先选择保障作业最少的舰载机

算法	规则
SWFT （Shortest Wait Time First）	优先选择等待时间最短的保障站位
LWTF（Longest Wait Time First）	优先选择等待时间最长的保障站位
RANDOM（Random Selection）	随机选择保障站位

差异化保障需求驱动的舰载机多机协同决策方法

Multi-aircraft cooperative decision-making methods driven by differentiated support demands for carrier-based aircraft

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 36

相关文章 15

编辑推荐

Metrics

本文评价

[1]	万开方, 吴志林, 武韫晖, 强皓植, 吴艺博, 李波. 拒止环境下基于深度强化学习的多无人机协同定位[J]. 航空学报, 2025, 46(8): 331024-331024.
[2]	姜凌峰, 李新凯, 张海, 李涵玮, 张宏立. 基于改进TD3算法的无人机动态环境无地图导航[J]. 航空学报, 2025, 46(8): 331035-331035.
[3]	杨敏, 刘关俊, 周子渊. 基于安全强化学习的月球着陆器控制[J]. 航空学报, 2025, 46(3): 630553-630553.
[4]	赵辰豪, 吴德伟, 何晶, 吴倩. 一种无人机视觉位姿估计的语义特征匹配算法[J]. 航空学报, 2025, 46(2): 330406-330406.
[5]	吕晓晨, 史静平, 吕永玺, 李耕农. 传感器失效下的魔毯着舰气流角重构算法[J]. 航空学报, 2025, 46(13): 531159-531159.
[6]	郭放, 韩维, 刘玉杰, 刘洁, 苏析超, 程亮亮. 基于可变作业流程的舰载机机务勤务保障作业调度[J]. 航空学报, 2025, 46(13): 531195-531195.
[7]	陈旭东, 陈琦琦, 罗祎喆, 王佳宝, 徐明亮. 异构舰载机舰面保障作业动态并行调度[J]. 航空学报, 2025, 46(13): 531329-531329.
[8]	王政, 王华, 崔可可, 李超超, 刘俊楠, 徐明亮. 局部引导强化学习的舰载机自主调运方法[J]. 航空学报, 2025, 46(13): 531333-531333.
[9]	许鑫泽, 洪冠新, 杜亮, 刘刚. 复杂环境下舰载机人工进近着舰模型[J]. 航空学报, 2025, 46(13): 531802-531802.
[10]	王家兴, 陈浩, 邵铮, 张杨. 基于航迹角指令的直接升力着舰控制方法[J]. 航空学报, 2025, 46(13): 532162-532162.
[11]	张志冰, 甄子洋. 固定翼舰载有人/无人机着舰引导控制研究进展[J]. 航空学报, 2025, 46(13): 532336-532336.
[12]	凌文辉, 牟春晖, 聂聆聪, 杜宪, 孙希明. 基于改进DDPG的宽速域几何可调燃烧室压力分布控制[J]. 航空学报, 2025, 46(12): 131092-131092.
[13]	余子杰, 郑征, 李清东, 郭林, 任素萍, 郭健. 基于深度强化学习的太阳能无人机航迹规划[J]. 航空学报, 2025, 46(12): 331420-331420.
[14]	张海君, 夏清悦, 马旭, 任超, 陆阳. 6G低空通信场景下无人机部署优化综述[J]. 航空学报, 2025, 46(11): 531296-531296.
[15]	高树一, 林德福, 郑多, 徐骋. 考虑拦截器探测能力限制的飞行器智能机动突防制导策略[J]. 航空学报, 2025, 46(10): 331304-331304.