多阶段协同决策的舰载机保障作业动态调度方法

doi:10.7527/S1000-6893.2025.33077

Abstract

Abstract:

To address the insufficient exploration of subtask coupling relationships and limited dynamic adaptability in existing carrier-based aircraft support operation scheduling research， this study investigates a multi-stage scheduling problem for carrier-based aircraft support operations. Firstly， by modeling both support station allocation and aircraft servicing sequence determination as a multi-agent Markov decision process， this paper establishes a mathematical characterization of the sequential coupling relationships between subtasks in support operation scheduling. Subsequently， an independent Deep Q-Network（DQN）based multi-agent collaborative decision-making framework is proposed， incorporating a distributed training-execution mechanism that specially includes a support station allocation module， an aircraft servicing sequence decision module， and a multi-agent collaborative scheduling module. Furthermore， a collaborative scheduling algorithm based on the multi-stage sequential decision-making mechanism is developed to solve the proposed model. Finally， simulation results demonstrate that the proposed algorithm achieves a 27.08% and 14.19% improvement in average reward， and a 56.44% and 45.43% improvement in reward standard deviation， over the Dueling DQN and N-step DQN methods， respectively， verifying the effectiveness of the multi-stage collaborative decision-making mechanism in addressing complex scheduling problems.

Key words: carrier-based aircraft, deep reinforcement learning, multi-stage, scheduling optimization, resource allocation

CLC Number:

Shuo HE, Jialin LIU, Ao SHEN, Saisai ZHU, Yuanyuan JIN, Lulu LI, Yafei LI, Mingliang XU. Multi-stage collaborative decision-making approach for dynamic scheduling of carrier-based aircraft support operations[J]. Acta Aeronautica et Astronautica Sinica, 2026, 47(15): 333077.

Figures/Tables 14

Fig. 1

Fig.2

Fig.3

Table 1

Experimental parameters

参数符号	参数定义	数值
C_n	舰载机数量	8，10，12，14，16，21
$K n$	保障站位数量	8，10，11，12，14，16
$\| O \|$	保障作业数量	4，5，6，7，8，10
$α$ /10^-4	学习率（舰载机/保障站位智能体）	1/1
y	折扣因子（舰载机/保障站位智能体）	0.99/0.99
$ε$	初始探索率（舰载机/保障站位智能体）	1.0/1.0
$ε m i n$	最小探索率（舰载机/保障站位智能体）	0.1/0.1
$ε d e c a y$	探索率衰减系数（舰载机/保障站位智能体）	0.995/0.995
$N θ$	目标网络软更新系数（舰载机/保障站位智能体）	0.005/0.005
$C m e m o r y_s i z e$ /10³	经验回放池容量（舰载机/保障站位智能体）	50/50
$E b a t c h_s i z e$	经验批量大小（舰载机/保障站位智能体）	128/128

Table 1

Fig.4

Table 2

Details of carrier-based aircraft support operations

作业序号	可用保障站位
$o 1$	$z 0, z 1, z 4, z 5, z 6, z 7, z 9$
$o 2$	$z 0, z 4, z 5, z 6, z 8, z 10$
$o 3$	$z 0, z 1, z 2, z 4, z 6, z 7, z 9$
$o 4$	$z 0, z 2, z 4, z 6, z 8, z 10$
$o 5$	$z 1, z 2, z 3, z 4, z 6, z 7, z 9$
$o 6$	$z 1, z 2, z 3, z 4, z 8, z 10$
$o 7$	$z 1, z 2, z 3, z 4, z 7, z 9$
$o 8$	$z 3, z 5, z 8, z 10$
$o 9$	$z 3, z 5, z 7, z 9, z 10$
$o 10$	$z 3, z 5, z 7, z 8, z 10$

Table 2

Fig.5

Fig.6

Fig.7

Fig.8

Fig.9

Fig.10

Fig.11

Fig.12

References 32

[1]	邓建辉，田程程，王岩磊，等. 基于改进樽海鞘算法的舰载机舰面保障作业流程优化方法［J］. 中国舰船研究，2024， 19（S2）： 1-10.
	DENG J H， TIAN C C， WANG Y L， et al. Optimization method of carrier-based aircraft support operation process based on improved salp swarm algorithm［J］. Chinese Journal of Ship Research， 2024， 19（S2）： 1-10 （in Chinese）.
[2]	LIU Y J， HAN W， SU X C， et al. Optimization of fixed aviation support resource station configuration for aircraft carrier based on aircraft dispatch mission scheduling ［J］. Chinese Journal of Aeronautics， 2023， 36（2）： 127-138.
[3]	刘翱，刘克. 舰载机保障作业调度问题研究进展［J］. 系统工程理论与实践， 2017， 37（1）： 49-60.
	LIU A， LIU K. Advances in carrier-based aircraft deck operation scheduling［J］. Systems Engineering-Theory & Practice， 2017， 37（1）：49-60 （in Chinese）.
[4]	万兵，韩维，梁勇，等. 舰载机出动离场调度优化算法［J］. 系统工程与电子技术， 2021， 43（12）： 3624-3634.
	WAN B， HAN W， LIANG Y， et al. Optimization algorithm of carrier-based aircraft sortie departure scheduling［J］. Systems Engineering and Electronics， 2021，43（12）：3624-3634 （in Chinese）.
[5]	毕文豪，张梦琦，高飞，等. 无人机集群任务分配技术研究综述［J］. 系统工程与电子技术， 2024， 46（3）： 922-934.
	BI W H， ZHANG M Q， GAO F， et al. Review on UAV swarm task allocation technology［J］. Systems Engineering and Electronics， 2024， 46（3）： 922-934 （in Chinese）.
[6]	鄢青青，沈怀荣，邵琼玲. 航天测控资源调度问题建模与求解研究综述［J］. 系统仿真学报， 2015， 27（1）： 1-12， 36.
	YAN Q Q， SHEN H R， SHAO Q L. Research overview on modeling and solution of aerospace TT&C scheduling problem［J］. Journal of System Simulation， 2015， 27（1）： 1-12， 36 （in Chinese）.
[7]	谭大力，王云飞，于连飞，等. 基于整数线性规划方法的舰载机航空保障资源优化调度［J］. 中国舰船研究， 2019， 14（5）： 145-151.
	TAN D L， WANG Y F， YU L F， et al. Optimal scheduling of aviation support resources for carrier based aircrafts based on integer linear programming［J］. Chinese Journal of Ship Research， 2019， 14（5）： 145-151 （in Chinese）.
[8]	RYAN J C， BANERJEE A G， CUMMINGS M L， et al. Comparing the performance of expert user heuristics and an integer linear program in aircraft carrier deck operations［J］. IEEE Transactions on Cybernetics， 2014， 44（6）： 761-773.
[9]	宁聪，范菁，孙书魁. 多无人机协同规划研究综述［J］. 计算机工程与应用， 2025， 61（1）： 42-58.
	NING C， FAN J， SUN S K， et al. Review of multi-UAV collaborative planning research［J］. Computer Engineering and Applications， 2025， 61（1）： 42-58 （in Chinese）.
[10]	葛宏义，补雨薇，蒋玉英，等. 人工智能在太赫兹超材料设计与优化领域的研究进展［J］. 激光与光电子学进展， 2024， 61（23）： 38-57.
	GE H Y， BU Y W， JIANG Y Y， et al. Advances in artificial intelligence for design and optimization of terahertz metamaterials［J］. Laser & Optoelectronics Progress， 2024， 61（23）： 38-57 （in Chinese）.
[11]	RAHMANI S， AGHALAR H， JEBREILI S， et al. Optimization and computing using intelligent data-driven approaches for decision-making ［M］∥ Boca Raton： Taylor & Francis Group.CRC Press， 2024： 90-176.
[12]	刘子玄，万兵，苏析超，等. 基于HA算法的舰载机出动作业调度方法［J］. 系统工程与电子技术， 2024， 46（5）： 1691-1702.
	LIU Z X， WAN B， SU X C， et al. Sortie scheduling method of carrier aircraft based on HA algorithm［J］. Systems Engineering and Electronics， 2024， 46（5）： 1691-1702 （in Chinese）.
[13]	郭放，韩维，刘玉杰，等．基于可变作业流程的舰载机机务勤务保障作业调度［J］．航空学报， 2025， 46（13）：531195.
	GUO F， HAN W， LIU Y J， et al. Scheduling for maintenance and service support of carrier based aircraft based on variable operation process［J］. Acta Aeronautica et Astronautica Sinica， 2025， 46（13）： 531195 （in Chinese）.
[14]	万兵，苏析超，郭放，等. 不确定性工时下甲板作业的前摄性鲁棒调度［J］. 航空学报， 2022， 43（12）： 325971.
	WAN B， SU X C， GUO F， et al. Proactive robust scheduling of aircraft carrier flight deck operations with uncertain activity durations［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（12）： 325971 （in Chinese）.
[15]	王宁，张毅. 基于黏菌算法的一站式多机舰面保障作业调度研究［J］. 教练机， 2025（1）： 5-11， 16.
	WANG N， ZHANG Y. Research on one-stop support operation of aircraft carrier deck for multi-aircraft based on slime mould algorithm（SMA）［J］. Trainer， 2025（1）：5-11， 16 （in Chinese）.
[16]	朱兴动，赵洋，范加利，等. 基于改进引力搜索算法的舰载机一站式保障作业优化调度方法［J］. 舰船电子工程， 2023， 43（8）： 98-103， 196.
	ZHU X D， ZHAO Y， FAN J L， et al. Optimization and scheduling method for shipborne aircraft one-stop support operations based on improved gravity search algorithm［J］. Ship Electronic Engineering， 2023， 43（8）： 98-103， 196 （in Chinese）.
[17]	袁子龙，何非，赵建波，等. 航母舰载机保障作业任务分配及弹药转运调度优化方法［J］. 兵工学报， 2025， 46（5）： 286-299.
	YUAN Z L， HE F， ZHAO J B， et al. Optimization method of carrier-borne aircraft support operation assignment and ammunition transport scheduling［J］. Acta Armamentarii， 2025， 46（5）： 286-299 （in Chinese）.
[18]	刘哲，马俊飞，陈佳峰，等. 基于改进灰狼算法的舰载机弹药保障调度优化［J］. 系统工程与电子技术， 2024， 46（4）： 1264-1272.
	LIU Z， MA J F， CHEN J F， et al. Carrier-based aircraft ammunition support scheduling optimization based on improved grey wolf optimizer algorithm［J］. Systems Engineering and Electronics， 2024， 46（4）： 1264-1272 （in Chinese）.
[19]	刘翱. 变邻域搜索分布估计算法求解舰载机保障作业调度问题［J］. 系统科学与数学， 2024， 44（2）： 391-407.
	LIU A. On the carrier-based aircraft deck operation scheduling problem solved by variable neighborhood search-based estimation of distribution algorithm［J］. Journal of Systems Science and Mathematical Sciences， 2024， 44（2）： 391-407 （in Chinese）.
[20]	李梦龙，余明晖. 基于改进禁忌搜索算法的舰载机保障作业调度［J］. 中国舰船研究， 2018， 13（5）： 132-138.
	LI M L， YU M H. Carrier-based aircraft support operation scheduling based on improved tabu search algorithm［J］. Chinese Journal of Ship Research， 2018， 13（5）： 132-138 （in Chinese）.
[21]	孟杨凯，王正，范加利.基于禁忌算法对不确定性舰载机保障的调度优化研究［J］. 系统仿真学报， 2021， 33（10）： 2363-2371.
	MENG Y K， WANG Z， FAN J L. Scheduling optimization research based on tabu algorithm for uncertainty carrier aircraft support［J］. Journal of System Simulation， 2021， 33（10）： 2363-2371 （in Chinese）.
[22]	刘小路，杨春辉，崔荣伟，等. 基于改进差分进化算法的舰面保障作业优化［J］. 海军航空大学学报， 2022， 37（4）： 354-360.
	LIU X L， YANG C H， CUI R W， et al. Optimization of flight deck operation scheduling based on modified differential evolution algorithm［J］. Journal of Naval Aviation University， 2022， 37（4）： 354-360 （in Chinese）.
[23]	蒋婷婷，韩维，苏析超. 基于改进DE算法的舰载机保障调度优化［J］. 计算机仿真， 2018， 35（10）： 51-56.
	JIANG T T， HAN W， SU X C. Optimization of carrier aircraft support scheduling based on improved DE algorithm［J］. Computer Simulation， 2018， 35（10）： 51-56 （in Chinese）.
[24]	WANG X， WANG S， LIANG X X， et al. Deep reinforcement learning： a survey［J］. IEEE Transactions on Neural Networks and Learning Systems， 2024， 35（4）： 5064-5078.
[25]	陈伟，李璐璐，陈董，等. 差异化保障需求驱动的舰载机多机协同决策方法［J］. 航空学报， 2025， 46（13）： 531274.
	CHEN W， LI L L， CHEN D， et al. Multi-aircraft cooperative decision-making methods driven by differentiated support demands for carrier-based aircraft［J］. Acta Aeronautica et Astronautica Sinica，2025，46（13）：531274 （in Chinese）.
[26]	罗祎喆，张辉，余新得，等. 面向舰载机多波次弹药保障任务的分层动态调度［J］. 航空学报， 2025， 46（18）： 531945.
	LUO Y Z， ZHANG H， YU X D， et al. Hierarchical dynamic scheduling for multi-wave carrier-based aircraft ammunition support missions［J］. Acta Aeronautica et Astronautica Sinica， 2025， 46（18）： 531945 （in Chinese）.
[27]	陈旭东，陈琦琦，罗祎喆，等. 异构舰载机舰面保障作业动态并行调度［J］. 航空学报， 2025， 46（13）： 531329.
	CHEN X D， CHEN Q Q， LUO Y Z， et al. Dynamic parallel scheduling of heterogeneous carrier-based aircraft deck support operations［J］. Acta Aeronautica et Astronautica Sinica， 2025， 46（13）： 531329 （in Chinese）.
[28]	黄珈其，郭宏伟，杨帅，等. 航空保障作业两阶段动态调度方法研究［J/OL］. 北京航空航天大学学报，（2024-08-30）［2025-11-11］..
	HUANG J Q， GUO H W， YANG S， et al. Research on the two-stage dynamic scheduling method for aviation support operations［J/OL］.Jounal of Beijing University of Aeronautics and Astronautics，（2024-08-30）［2025-11-11］. （in Chinese）.
[29]	刘广，王华，林友芳，等. 舰载机保障作业自适应批量匹配决策方法［J］. 航空学报， 2025， 46（1）： 230615.
	LIU G， WANG H， LIN Y F， et al. Adaptive batch matching decision method for carrier-based aircraft support operations［J］. Acta Aeronautica et Astronautica Sinica， 2025， 46（1）： 230615 （in Chinese）.
[30]	FENG H F， ZENG W. Deep reinforcement learning for carrier-borne aircraft support operation scheduling［C］∥2021 International Conference on Intelligent Computing， Automation and Applications （ICAA）. Piscataway：IEEE Press， 2021： 929-935.
[31]	李亚飞，吴庆顺，徐明亮，等. 基于强化学习的舰载机保障作业实时调度方法［J］. 中国科学：信息科学， 2021， 51（2）： 247-262.
	Li Y F， Wu Q S， Xu M L， et al. Real-time scheduling for carrier-borne aircraft support operations： a reinforcement learning approach［J］. Scientia Sinica Informationis， 2021， 51（2）： 247-262 （in Chinese）.
[32]	HAO H J， Zhang X Q， CHI Y， et al. Cooperative carrier aircraft support operation scheduling via multi-agent reinforcement learning［C］∥2023 24th IEEE International Conference on Mobile Data Management （MDM）. Piscataway： IEEE Press， 2023： 297-302.

Multi-stage collaborative decision-making approach for dynamic scheduling of carrier-based aircraft support operations

RichHTML

PDF (PC)

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 14

References 32

Related Articles 15

Recommended Articles

Metrics

Comments

[1]	Wei XIONG, Dong ZHANG, Shuheng YANG, Zhi REN, Wenyi LIU. Manned/unmanned aerial vehicle collaborative interpretable method for intelligent air combat [J]. Acta Aeronautica et Astronautica Sinica, 2026, 47(7): 332547-332547.
[2]	Sihua GAO, Bingyang ZHAO, Jianfu LI. UAV complete data collection trajectory planning algorithm based on time window constraints [J]. Acta Aeronautica et Astronautica Sinica, 2026, 47(6): 332451-332451.
[3]	Jian PENG, Guanglei ZHU, Qingshun WU, Yafei LI, Shuo HE, Yuanyuan JIN, Mingliang XU. Scheduling method for carrier-based aircraft support operations based on Monte Carlo tree search [J]. Acta Aeronautica et Astronautica Sinica, 2026, 47(6): 332444-332444.
[4]	Lei ZHANG, Can TIAN, Fangqing WEN, Qinghe ZHANG, Han LIU. Multi-objective evolution with deep deterministic strategy gradient algorithm for mobile edge networks [J]. Acta Aeronautica et Astronautica Sinica, 2026, 47(3): 631880-631880.
[5]	Chunhao FAN, Junshan HU, Zhiyong YANG, Fusen HOU, Peilin CHEN, Wei TIAN. Effects of curing residual stress and deformation on tensile performance of CFRP single-sided patch-repaired titanium alloy damaged components [J]. Acta Aeronautica et Astronautica Sinica, 2026, 47(3): 431997-431997.
[6]	Kaifang WAN, Zhilin WU, Yunhui WU, Haozhi QIANG, Yibo WU, Bo LI. Cooperative location of multiple UAVs with deep reinforcement learning in GPS-denied environment [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(8): 331024-331024.
[7]	Lingfeng JIANG, Xinkai LI, Hai ZHANG, Hanwei LI, Hongli ZHANG. Mapless navigation of UAVs in dynamic environments based on an improved TD3 algorithm [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(8): 331035-331035.
[8]	Min YANG, Guanjun LIU, Ziyuan ZHOU. Control of lunar landers based on secure reinforcement learning [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(3): 630553-630553.
[9]	Qichao XIE, Chengyu CAO, Yiyun ZHAO, Fanbiao LI. Integrated guidance and control method based on deep reinforcement learning parameter tuning [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(24): 632345-632345.
[10]	Jiachen LIU, Lei DONG, Zijing SUN, Ye NI, Xi CHEN, Peng WANG. An explainable decision-making method for resource allocation in IMA system based on PPO-SHAP [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(24): 331872-331872.
[11]	Zhaoru YAO, Hang SUN, Dong REN, Li LIU, Jun WAN. Bidirectional mapping and negative correlation algorithm for aerial image dehazing [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(23): 631652-631652.
[12]	Chen WANG, Caisheng WEI, Zeyang YIN, Kai JIN, Xingchen LI. Collaborative planning of multi-UAV trajectories and communication strategies considering channel resource constraints [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(18): 331837-331837.
[13]	Yizhe LUO, Hui ZHANG, Xinde YU, Zhao JIN, Shuo FENG, Yucheng SHI, Mingling XU. Hierarchical dynamic scheduling for multi-wave carrier-based aircraft ammunition support missions [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(18): 331945-331945.
[14]	Yu WANG, Zhipeng XIE, Yongjian TIAN, Guanglei MENG. Distributed UAV formation control with virtual structure guided reinforcement learning [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(15): 331354-331354.
[15]	Xiaochen LYU, Jingping SHI, Yongxi LYU, Gengnong LI. Flow angle reconstruction algorithm for MAGIC CARPET landing with sensor failure [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(13): 531159-531159.