多阶段协同决策的舰载机保障作业动态调度方法

doi:10.7527/S1000-6893.2025.33077

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 |

多阶段协同决策的舰载机保障作业动态调度方法

贺硕¹^,²^,³, 刘佳林¹, 沈奥¹, 朱赛赛¹, 靳远远¹^,²^,³, 李璐璐¹^,²^,³, 李亚飞¹^,²^,³, 徐明亮¹^,²^,³()

^1.郑州大学计算机与人工智能学院，郑州 450001
^2.智能集群系统教育部工程研究中心，郑州 450001
^3.国家超级计算郑州中心，郑州 450001

收稿日期:2025-11-11 修回日期:2025-11-26 接受日期:2025-12-09 出版日期:2025-12-17 发布日期:2025-12-15
通讯作者: 徐明亮 E-mail:iexumingliang@zzu.edu.cn
基金资助:
国家自然科学基金(62402453);国家自然科学基金(62372416);国家自然科学基金(62325602);国家自然科学基金(62036010);国家自然科学基金(62302460);河南省自然科学基金重点项目(242300421215);中国博士后科学基金(2022TQ0297)

Multi-stage collaborative decision-making approach for dynamic scheduling of carrier-based aircraft support operations

Shuo HE¹^,²^,³, Jialin LIU¹, Ao SHEN¹, Saisai ZHU¹, Yuanyuan JIN¹^,²^,³, Lulu LI¹^,²^,³, Yafei LI¹^,²^,³, Mingliang XU¹^,²^,³()

^1.School of Computer and Artificial Intelligence，Zhengzhou University，Zhengzhou 450001，China
^2.Engineering Research Center of Intelligent Swarm Systems，Ministry of Education，Zhengzhou 450001，China
^3.National Supercomputing Center in Zhengzhou，Zhengzhou 450001，China

Received:2025-11-11 Revised:2025-11-26 Accepted:2025-12-09 Online:2025-12-17 Published:2025-12-15
Contact: Mingliang XU E-mail:iexumingliang@zzu.edu.cn
Supported by:
National Natural Science Foundation of China(62402453);Natural Science Foundation of Henan(242300421215);China Postdoctoral Science Foundation(2022TQ0297)

摘要/Abstract

摘要：

针对现有舰载机保障作业调度研究中存在的子任务耦合关系挖掘不足以及动态适应性受限等问题，研究具有多阶段依赖关系的舰载机保障作业调度问题。首先，通过将保障站位分配与舰载机保障顺序决策建模为多智能体马尔科夫决策过程，建立了舰载机保障作业调度子任务间序贯耦合关系的数学表征；然后，提出了基于独立深度Q网络（DQN）的多智能体协同决策框架，该框架采用了分布式训练-执行机制，具体包括保障站位分配模块、舰载机保障顺序决策模块和多智能体协同调度模块；进一步地，基于该框架提出了基于多阶段顺序决策机制的舰载机保障作业协同调度算法对模型进行求解；最后，仿真实验结果表明，所提算法收敛后的平均奖励值相较于Dueling DQN和N-step DQN方法分别提升27.08%、14.19%，奖励标准差相较于Dueling DQN和N-step DQN方法分别提升56.44%、45.43%，验证了多阶段协同决策机制在解决复杂调度问题中的有效性。

关键词: 舰载机, 深度强化学习, 多阶段, 调度优化, 资源分配

Abstract:

To address the insufficient exploration of subtask coupling relationships and limited dynamic adaptability in existing carrier-based aircraft support operation scheduling research， this study investigates a multi-stage scheduling problem for carrier-based aircraft support operations. Firstly， by modeling both support station allocation and aircraft servicing sequence determination as a multi-agent Markov decision process， this paper establishes a mathematical characterization of the sequential coupling relationships between subtasks in support operation scheduling. Subsequently， an independent Deep Q-Network（DQN）based multi-agent collaborative decision-making framework is proposed， incorporating a distributed training-execution mechanism that specially includes a support station allocation module， an aircraft servicing sequence decision module， and a multi-agent collaborative scheduling module. Furthermore， a collaborative scheduling algorithm based on the multi-stage sequential decision-making mechanism is developed to solve the proposed model. Finally， simulation results demonstrate that the proposed algorithm achieves a 27.08% and 14.19% improvement in average reward， and a 56.44% and 45.43% improvement in reward standard deviation， over the Dueling DQN and N-step DQN methods， respectively， verifying the effectiveness of the multi-stage collaborative decision-making mechanism in addressing complex scheduling problems.

Key words: carrier-based aircraft, deep reinforcement learning, multi-stage, scheduling optimization, resource allocation

中图分类号:

贺硕, 刘佳林, 沈奥, 朱赛赛, 靳远远, 李璐璐, 李亚飞, 徐明亮. 多阶段协同决策的舰载机保障作业动态调度方法[J]. 航空学报, 2026, 47(15): 333077.

Shuo HE, Jialin LIU, Ao SHEN, Saisai ZHU, Yuanyuan JIN, Lulu LI, Yafei LI, Mingliang XU. Multi-stage collaborative decision-making approach for dynamic scheduling of carrier-based aircraft support operations[J]. Acta Aeronautica et Astronautica Sinica, 2026, 47(15): 333077.

图/表 14

图 1

图 2

图 3

表 1

实验参数

参数符号	参数定义	数值
C_n	舰载机数量	8，10，12，14，16，21
$K n$	保障站位数量	8，10，11，12，14，16
$\| O \|$	保障作业数量	4，5，6，7，8，10
$α$ /10^-4	学习率（舰载机/保障站位智能体）	1/1
y	折扣因子（舰载机/保障站位智能体）	0.99/0.99
$ε$	初始探索率（舰载机/保障站位智能体）	1.0/1.0
$ε m i n$	最小探索率（舰载机/保障站位智能体）	0.1/0.1
$ε d e c a y$	探索率衰减系数（舰载机/保障站位智能体）	0.995/0.995
$N θ$	目标网络软更新系数（舰载机/保障站位智能体）	0.005/0.005
$C m e m o r y_s i z e$ /10³	经验回放池容量（舰载机/保障站位智能体）	50/50
$E b a t c h_s i z e$	经验批量大小（舰载机/保障站位智能体）	128/128

表 1

图 4

表 2

舰载机保障作业详情

作业序号	可用保障站位
$o 1$	$z 0, z 1, z 4, z 5, z 6, z 7, z 9$
$o 2$	$z 0, z 4, z 5, z 6, z 8, z 10$
$o 3$	$z 0, z 1, z 2, z 4, z 6, z 7, z 9$
$o 4$	$z 0, z 2, z 4, z 6, z 8, z 10$
$o 5$	$z 1, z 2, z 3, z 4, z 6, z 7, z 9$
$o 6$	$z 1, z 2, z 3, z 4, z 8, z 10$
$o 7$	$z 1, z 2, z 3, z 4, z 7, z 9$
$o 8$	$z 3, z 5, z 8, z 10$
$o 9$	$z 3, z 5, z 7, z 9, z 10$
$o 10$	$z 3, z 5, z 7, z 8, z 10$

表 2

图 5

图 6

图 7

图 8

图 9

图 10

图 11

图 12

参考文献 32

[1]	邓建辉，田程程，王岩磊，等. 基于改进樽海鞘算法的舰载机舰面保障作业流程优化方法［J］. 中国舰船研究，2024， 19（S2）： 1-10.
	DENG J H， TIAN C C， WANG Y L， et al. Optimization method of carrier-based aircraft support operation process based on improved salp swarm algorithm［J］. Chinese Journal of Ship Research， 2024， 19（S2）： 1-10 （in Chinese）.
[2]	LIU Y J， HAN W， SU X C， et al. Optimization of fixed aviation support resource station configuration for aircraft carrier based on aircraft dispatch mission scheduling ［J］. Chinese Journal of Aeronautics， 2023， 36（2）： 127-138.
[3]	刘翱，刘克. 舰载机保障作业调度问题研究进展［J］. 系统工程理论与实践， 2017， 37（1）： 49-60.
	LIU A， LIU K. Advances in carrier-based aircraft deck operation scheduling［J］. Systems Engineering-Theory & Practice， 2017， 37（1）：49-60 （in Chinese）.
[4]	万兵，韩维，梁勇，等. 舰载机出动离场调度优化算法［J］. 系统工程与电子技术， 2021， 43（12）： 3624-3634.
	WAN B， HAN W， LIANG Y， et al. Optimization algorithm of carrier-based aircraft sortie departure scheduling［J］. Systems Engineering and Electronics， 2021，43（12）：3624-3634 （in Chinese）.
[5]	毕文豪，张梦琦，高飞，等. 无人机集群任务分配技术研究综述［J］. 系统工程与电子技术， 2024， 46（3）： 922-934.
	BI W H， ZHANG M Q， GAO F， et al. Review on UAV swarm task allocation technology［J］. Systems Engineering and Electronics， 2024， 46（3）： 922-934 （in Chinese）.
[6]	鄢青青，沈怀荣，邵琼玲. 航天测控资源调度问题建模与求解研究综述［J］. 系统仿真学报， 2015， 27（1）： 1-12， 36.
	YAN Q Q， SHEN H R， SHAO Q L. Research overview on modeling and solution of aerospace TT&C scheduling problem［J］. Journal of System Simulation， 2015， 27（1）： 1-12， 36 （in Chinese）.
[7]	谭大力，王云飞，于连飞，等. 基于整数线性规划方法的舰载机航空保障资源优化调度［J］. 中国舰船研究， 2019， 14（5）： 145-151.
	TAN D L， WANG Y F， YU L F， et al. Optimal scheduling of aviation support resources for carrier based aircrafts based on integer linear programming［J］. Chinese Journal of Ship Research， 2019， 14（5）： 145-151 （in Chinese）.
[8]	RYAN J C， BANERJEE A G， CUMMINGS M L， et al. Comparing the performance of expert user heuristics and an integer linear program in aircraft carrier deck operations［J］. IEEE Transactions on Cybernetics， 2014， 44（6）： 761-773.
[9]	宁聪，范菁，孙书魁. 多无人机协同规划研究综述［J］. 计算机工程与应用， 2025， 61（1）： 42-58.
	NING C， FAN J， SUN S K， et al. Review of multi-UAV collaborative planning research［J］. Computer Engineering and Applications， 2025， 61（1）： 42-58 （in Chinese）.
[10]	葛宏义，补雨薇，蒋玉英，等. 人工智能在太赫兹超材料设计与优化领域的研究进展［J］. 激光与光电子学进展， 2024， 61（23）： 38-57.
	GE H Y， BU Y W， JIANG Y Y， et al. Advances in artificial intelligence for design and optimization of terahertz metamaterials［J］. Laser & Optoelectronics Progress， 2024， 61（23）： 38-57 （in Chinese）.
[11]	RAHMANI S， AGHALAR H， JEBREILI S， et al. Optimization and computing using intelligent data-driven approaches for decision-making ［M］∥ Boca Raton： Taylor & Francis Group.CRC Press， 2024： 90-176.
[12]	刘子玄，万兵，苏析超，等. 基于HA算法的舰载机出动作业调度方法［J］. 系统工程与电子技术， 2024， 46（5）： 1691-1702.
	LIU Z X， WAN B， SU X C， et al. Sortie scheduling method of carrier aircraft based on HA algorithm［J］. Systems Engineering and Electronics， 2024， 46（5）： 1691-1702 （in Chinese）.
[13]	郭放，韩维，刘玉杰，等．基于可变作业流程的舰载机机务勤务保障作业调度［J］．航空学报， 2025， 46（13）：531195.
	GUO F， HAN W， LIU Y J， et al. Scheduling for maintenance and service support of carrier based aircraft based on variable operation process［J］. Acta Aeronautica et Astronautica Sinica， 2025， 46（13）： 531195 （in Chinese）.
[14]	万兵，苏析超，郭放，等. 不确定性工时下甲板作业的前摄性鲁棒调度［J］. 航空学报， 2022， 43（12）： 325971.
	WAN B， SU X C， GUO F， et al. Proactive robust scheduling of aircraft carrier flight deck operations with uncertain activity durations［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（12）： 325971 （in Chinese）.
[15]	王宁，张毅. 基于黏菌算法的一站式多机舰面保障作业调度研究［J］. 教练机， 2025（1）： 5-11， 16.
	WANG N， ZHANG Y. Research on one-stop support operation of aircraft carrier deck for multi-aircraft based on slime mould algorithm（SMA）［J］. Trainer， 2025（1）：5-11， 16 （in Chinese）.
[16]	朱兴动，赵洋，范加利，等. 基于改进引力搜索算法的舰载机一站式保障作业优化调度方法［J］. 舰船电子工程， 2023， 43（8）： 98-103， 196.
	ZHU X D， ZHAO Y， FAN J L， et al. Optimization and scheduling method for shipborne aircraft one-stop support operations based on improved gravity search algorithm［J］. Ship Electronic Engineering， 2023， 43（8）： 98-103， 196 （in Chinese）.
[17]	袁子龙，何非，赵建波，等. 航母舰载机保障作业任务分配及弹药转运调度优化方法［J］. 兵工学报， 2025， 46（5）： 286-299.
	YUAN Z L， HE F， ZHAO J B， et al. Optimization method of carrier-borne aircraft support operation assignment and ammunition transport scheduling［J］. Acta Armamentarii， 2025， 46（5）： 286-299 （in Chinese）.
[18]	刘哲，马俊飞，陈佳峰，等. 基于改进灰狼算法的舰载机弹药保障调度优化［J］. 系统工程与电子技术， 2024， 46（4）： 1264-1272.
	LIU Z， MA J F， CHEN J F， et al. Carrier-based aircraft ammunition support scheduling optimization based on improved grey wolf optimizer algorithm［J］. Systems Engineering and Electronics， 2024， 46（4）： 1264-1272 （in Chinese）.
[19]	刘翱. 变邻域搜索分布估计算法求解舰载机保障作业调度问题［J］. 系统科学与数学， 2024， 44（2）： 391-407.
	LIU A. On the carrier-based aircraft deck operation scheduling problem solved by variable neighborhood search-based estimation of distribution algorithm［J］. Journal of Systems Science and Mathematical Sciences， 2024， 44（2）： 391-407 （in Chinese）.
[20]	李梦龙，余明晖. 基于改进禁忌搜索算法的舰载机保障作业调度［J］. 中国舰船研究， 2018， 13（5）： 132-138.
	LI M L， YU M H. Carrier-based aircraft support operation scheduling based on improved tabu search algorithm［J］. Chinese Journal of Ship Research， 2018， 13（5）： 132-138 （in Chinese）.
[21]	孟杨凯，王正，范加利.基于禁忌算法对不确定性舰载机保障的调度优化研究［J］. 系统仿真学报， 2021， 33（10）： 2363-2371.
	MENG Y K， WANG Z， FAN J L. Scheduling optimization research based on tabu algorithm for uncertainty carrier aircraft support［J］. Journal of System Simulation， 2021， 33（10）： 2363-2371 （in Chinese）.
[22]	刘小路，杨春辉，崔荣伟，等. 基于改进差分进化算法的舰面保障作业优化［J］. 海军航空大学学报， 2022， 37（4）： 354-360.
	LIU X L， YANG C H， CUI R W， et al. Optimization of flight deck operation scheduling based on modified differential evolution algorithm［J］. Journal of Naval Aviation University， 2022， 37（4）： 354-360 （in Chinese）.
[23]	蒋婷婷，韩维，苏析超. 基于改进DE算法的舰载机保障调度优化［J］. 计算机仿真， 2018， 35（10）： 51-56.
	JIANG T T， HAN W， SU X C. Optimization of carrier aircraft support scheduling based on improved DE algorithm［J］. Computer Simulation， 2018， 35（10）： 51-56 （in Chinese）.
[24]	WANG X， WANG S， LIANG X X， et al. Deep reinforcement learning： a survey［J］. IEEE Transactions on Neural Networks and Learning Systems， 2024， 35（4）： 5064-5078.
[25]	陈伟，李璐璐，陈董，等. 差异化保障需求驱动的舰载机多机协同决策方法［J］. 航空学报， 2025， 46（13）： 531274.
	CHEN W， LI L L， CHEN D， et al. Multi-aircraft cooperative decision-making methods driven by differentiated support demands for carrier-based aircraft［J］. Acta Aeronautica et Astronautica Sinica，2025，46（13）：531274 （in Chinese）.
[26]	罗祎喆，张辉，余新得，等. 面向舰载机多波次弹药保障任务的分层动态调度［J］. 航空学报， 2025， 46（18）： 531945.
	LUO Y Z， ZHANG H， YU X D， et al. Hierarchical dynamic scheduling for multi-wave carrier-based aircraft ammunition support missions［J］. Acta Aeronautica et Astronautica Sinica， 2025， 46（18）： 531945 （in Chinese）.
[27]	陈旭东，陈琦琦，罗祎喆，等. 异构舰载机舰面保障作业动态并行调度［J］. 航空学报， 2025， 46（13）： 531329.
	CHEN X D， CHEN Q Q， LUO Y Z， et al. Dynamic parallel scheduling of heterogeneous carrier-based aircraft deck support operations［J］. Acta Aeronautica et Astronautica Sinica， 2025， 46（13）： 531329 （in Chinese）.
[28]	黄珈其，郭宏伟，杨帅，等. 航空保障作业两阶段动态调度方法研究［J/OL］. 北京航空航天大学学报，（2024-08-30）［2025-11-11］..
	HUANG J Q， GUO H W， YANG S， et al. Research on the two-stage dynamic scheduling method for aviation support operations［J/OL］.Jounal of Beijing University of Aeronautics and Astronautics，（2024-08-30）［2025-11-11］. （in Chinese）.
[29]	刘广，王华，林友芳，等. 舰载机保障作业自适应批量匹配决策方法［J］. 航空学报， 2025， 46（1）： 230615.
	LIU G， WANG H， LIN Y F， et al. Adaptive batch matching decision method for carrier-based aircraft support operations［J］. Acta Aeronautica et Astronautica Sinica， 2025， 46（1）： 230615 （in Chinese）.
[30]	FENG H F， ZENG W. Deep reinforcement learning for carrier-borne aircraft support operation scheduling［C］∥2021 International Conference on Intelligent Computing， Automation and Applications （ICAA）. Piscataway：IEEE Press， 2021： 929-935.
[31]	李亚飞，吴庆顺，徐明亮，等. 基于强化学习的舰载机保障作业实时调度方法［J］. 中国科学：信息科学， 2021， 51（2）： 247-262.
	Li Y F， Wu Q S， Xu M L， et al. Real-time scheduling for carrier-borne aircraft support operations： a reinforcement learning approach［J］. Scientia Sinica Informationis， 2021， 51（2）： 247-262 （in Chinese）.
[32]	HAO H J， Zhang X Q， CHI Y， et al. Cooperative carrier aircraft support operation scheduling via multi-agent reinforcement learning［C］∥2023 24th IEEE International Conference on Mobile Data Management （MDM）. Piscataway： IEEE Press， 2023： 297-302.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

多阶段协同决策的舰载机保障作业动态调度方法

Multi-stage collaborative decision-making approach for dynamic scheduling of carrier-based aircraft support operations

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 32

相关文章 15

编辑推荐

Metrics

本文评价

[1]	高思华, 赵炳阳, 李建伏. 基于时间窗约束的无人机完整性数据采集路径规划算法[J]. 航空学报, 2026, 47(6): 332451-332451.
[2]	彭健, 朱广磊, 吴庆顺, 李亚飞, 贺硕, 靳远远, 徐明亮. 基于蒙特卡洛树搜索的舰载机保障作业调度方法[J]. 航空学报, 2026, 47(6): 332444-332444.
[3]	张磊, 田灿, 文方青, 张清河, 刘含. 面向移动边缘网络的多目标进化深度确定性策略梯度算法[J]. 航空学报, 2026, 47(3): 631880-631880.
[4]	范春浩, 胡俊山, 杨智勇, 侯富森, 陈培林, 田威. 固化残余应力和变形对钛合金损伤构件CFRP单面贴补结构拉伸性能的影响[J]. 航空学报, 2026, 47(3): 431997-431997.
[5]	万开方, 吴志林, 武韫晖, 强皓植, 吴艺博, 李波. 拒止环境下基于深度强化学习的多无人机协同定位[J]. 航空学报, 2025, 46(8): 331024-331024.
[6]	姜凌峰, 李新凯, 张海, 李涵玮, 张宏立. 基于改进TD3算法的无人机动态环境无地图导航[J]. 航空学报, 2025, 46(8): 331035-331035.
[7]	杨敏, 刘关俊, 周子渊. 基于安全强化学习的月球着陆器控制[J]. 航空学报, 2025, 46(3): 630553-630553.
[8]	谢启超, 曹承钰, 赵逸云, 李繁飙. 基于深度强化学习调参的制导控制一体化方法[J]. 航空学报, 2025, 46(24): 632345-632345.
[9]	刘嘉琛, 董磊, 孙紫荆, 倪晔, 陈曦, 王鹏. 基于PPO-SHAP的IMA系统资源分配可解释决策方法[J]. 航空学报, 2025, 46(24): 331872-331872.
[10]	姚兆汝, 孙航, 任东, 刘莉, 万俊. 双向映射与物理负相关的航空图像去雾算法[J]. 航空学报, 2025, 46(23): 631652-631652.
[11]	王辰, 魏才盛, 殷泽阳, 靳锴, 李星辰. 考虑信道资源约束的多无人机航迹与通信策略协同规划[J]. 航空学报, 2025, 46(18): 331837-331837.
[12]	罗祎喆, 张辉, 余新得, 金钊, 冯朔, 石育澄, 徐明亮. 面向舰载机多波次弹药保障任务的分层动态调度[J]. 航空学报, 2025, 46(18): 331945-331945.
[13]	王昱, 谢志鹏, 田永健, 孟光磊. 虚拟结构引领强化学习分布式无人机编队控制[J]. 航空学报, 2025, 46(15): 331354-331354.
[14]	吕晓晨, 史静平, 吕永玺, 李耕农. 传感器失效下的魔毯着舰气流角重构算法[J]. 航空学报, 2025, 46(13): 531159-531159.
[15]	郭放, 韩维, 刘玉杰, 刘洁, 苏析超, 程亮亮. 基于可变作业流程的舰载机机务勤务保障作业调度[J]. 航空学报, 2025, 46(13): 531195-531195.