基于混合动作的空战分层强化学习决策算法

doi:10.7527/S1000-6893.2024.30053

论文

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于混合动作的空战分层强化学习决策算法

李佐龙¹, 朱纪洪¹(), 匡敏驰¹, 张杰², 任洁²

^1.清华大学精密仪器系，北京 100084
^2.航空工业成都飞机设计研究所，成都 610091

收稿日期:2024-01-02 修回日期:2024-01-11 接受日期:2024-04-22 出版日期:2024-04-26 发布日期:2024-04-25
通讯作者: 朱纪洪 E-mail:jhzhu@tsinghua.edu.cn

Hierarchical decision algorithm for air combat with hybrid action based on deep reinforcement learning

Zuolong LI¹, Jihong ZHU¹(), Minchi KUANG¹, Jie ZHANG², Jie REN²

^1.Department of Precision Instrument，Tsinghua University，Beijing 100084，China
^2.AVIC Chengdu Flight Design and Research Institute，Chengdu 610091，China

Received:2024-01-02 Revised:2024-01-11 Accepted:2024-04-22 Online:2024-04-26 Published:2024-04-25
Contact: Jihong ZHU E-mail:jhzhu@tsinghua.edu.cn

摘要/Abstract

摘要：

智能空战是世界主要军事强国的研究热点。为解决超视距空战博弈机动决策问题，提出了基于深度强化学习的超视距空战分层决策算法。在该决策算法中，使用适合于超视距空战的机动动作集，对飞机的航迹和姿态进行控制。为了扩大模型的动作空间，提升模型的决策能力，将空战的动作空间进行分层，建模为多维离散的动作空间。针对空战中稀疏奖励的问题，设计了一套综合考虑位置优势、武器发射和武器威胁等要素的奖励函数，用于引导智能体向最优策略收敛。搭建了完整的数字孪生空战仿真环境和空战专家系统，在仿真环境中训练决策算法，并通过与专家系统的对抗，对决策算法进行评估。实验结果表明：决策算法具备超视距空战自主决策的能力，能够根据战场态势，进行灵活的机动决策，在与专家系统对抗的过程中具有一定的优势。

关键词: 超视距空战, 智能决策, 深度强化学习, 近端策略优化, 机动动作, 分层决策

Abstract:

Intelligent air combat is a hot research topic among countries with strong military power in the world. To solve the maneuver decision problem of air combat Beyond Visual Range （BVR）， we propose the hierarchical decision algorithm based on deep reinforcement learning. In the decision algorithm， we use the maneuver set appropriate to the BVR air combat to control the trajectory and the attitude of the aircraft. To expand the action space of the model and increase its decision-making ability， we hierarchize the action space and model it as the multi-discrete one. To solve the problem of sparse reward in air combat， we design a set of reward function taking into consideration the factors including the position advantage， weapon launching， and weapon threat， which can guide the agent to converge to the optimal policy. We also build a complete digital-twin simulation environment for air combat and an expert system. The decision algorithm is trained in the simulation environment， and is evaluated by fighting with the expert system. The experiment results indicate that the decision algorithm proposed has the ability to make autonomous and flexible decisions in BVR air combat based on current situations， and has some advantages against the expert system.

Key words: air combat beyond visual range, intelligent decision, deep reinforcement learning, proximal policy optimization, maneuver, hierarchical decision

中图分类号:

V249.4

李佐龙, 朱纪洪, 匡敏驰, 张杰, 任洁. 基于混合动作的空战分层强化学习决策算法[J]. 航空学报, 2024, 45(17): 530053-530053.

Zuolong LI, Jihong ZHU, Minchi KUANG, Jie ZHANG, Jie REN. Hierarchical decision algorithm for air combat with hybrid action based on deep reinforcement learning[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(17): 530053-530053.

图/表 21

图 1

表 1

表 2

空战机动动作参数

参数	数值
过载	2， 3， 4， 5， 6， 7
爬升率/ $(m ⋅ s - 1)$	0， 40， 80， 120， 160， 200
速度马赫数	0.7， 0.8， 0.9， 1.0， 1.1， 1.2， 1.3， 1.4
盘旋角速度/ $((°) ⋅ s - 1)$	0， 5， 10， 15， 20， 25， 30

表 2

表 3

空战的奖励函数

类型	名称	数值
事件奖励	命中目标	+100
	平局	-10
	被命中	-100
	坠地	-100
	扫描到敌机	+10
	近距离躲避敌机	+50
	近距离经过敌机	+10
	发射导弹	-6~-2
状态奖励	优势	$R a$
	威胁	$R t$
	失速	$R s$
	侧滑角过大	$R β$

表 3

图 2

图 3

图 4

图 5

图 6

表 4

算法使用的超参数

超参数	数值
折扣因子 $γ$	0.99
GAE参数 $λ$	0.95
裁剪系数 $ε$	0.1
策略熵系数 $β E$	0.01
策略网络学习率 $α a$	$5 × 10 - 4$
值网络学习率 $α c$	$2 × 10 - 4$
Batch_Size	120
序列长度	16
经验池样本容量	480

表 4

图 7

图 8

图 9

图 10

图 11

图 12

表 5

图 13

图 14

图 15

图 16

参考文献 37

1	喻煌超，牛轶峰，王祥科. 无人机系统发展阶段和智能化趋势［J］. 国防科技， 2021， 42（3）： 18-24.
	YU H C， NIU Y F， WANG X K. Stages of development of Unmanned Aerial Vehicles［J］. National Defense Technology， 2021， 42（3）： 18-24 （in Chinese）.
2	ERNEST N， CARROLL D. Genetic fuzzy based artificial intelligence for unmanned combat aerial vehicle control in simulated air combat missions［J］. Journal of Defense Management， 2016， 6（1）： 1000144.
3	POPE A P， IDE J S， MIĆOVIĆ D， et al. Hierarchical reinforcement learning for air-to-air combat［C］∥ 2021 International Conference on Unmanned Aircraft Systems （ICUAS）. Piscataway： IEEE Press， 2021： 275-284.
4	DINARDO G. Artificial intelligence flies XQ-58A Valkyrie drone ［EB/OL］（2023-08-03）［2023-12-15］. .
5	赵志忠，高正红，刘行伟，等. 用攻击点推移速率评估一对一超视距空战效能［J］. 系统仿真学报， 2005， 17（12）： 2855-2857， 2862.
	ZHAO Z Z， GAO Z H， LIU X W， et al. Using shooting point stepping pace for evaluating one-versus-one BVR combat effectiveness［J］. Acta Simulata Systematica Sinica， 2005， 17（12）： 2855-2857， 2862 （in Chinese）.
6	杜海文，崔明朗，韩统，等. 基于多目标优化与强化学习的空战机动决策［J］. 北京航空航天大学学报， 2018， 44（11）： 2247-2256.
	DU H W， CUI M L， HAN T， et al. Maneuvering decision in air combat based on multi-objective optimization and reinforcement learning［J］. Journal of Beijing University of Aeronautics and Astronautics， 2018， 44（11）： 2247-2256 （in Chinese）.
7	AUSTIN F， CARBONE G， FALCO M， et al. Automated maneuvering decisions for air-to-air combat［C］∥ Proceedings of the Guidance， Navigation and Control Conference. Reston： AIAA， 1987：2393.
8	ISAACS R. Differential games： A mathematical theory with applications to warfare and pursuit， control and optimization［M］. Mineola： Dover Publications， 1999.
9	HUANG C Q， DONG K S， HUANG H Q， et al. Autonomous air combat maneuver decision using Bayesian inference and moving horizon optimization［J］. Journal of Systems Engineering and Electronics， 2018， 29（1）： 86-97.
10	BURGIN G H， OWENS A J. An adaptive maneuvering logic computer program for the simulation of one-to-one air-to-air combat. Volume 2： Program description：NASA-CR-2583 ［R］. Washington， D. C.：NASA， 1975.
11	SUN Z X， PIAO H Y， YANG Z， et al. Multi-agent hierarchical policy gradient for Air Combat Tactics emergence via self-play［J］. Engineering Applications of Artificial Intelligence， 2021， 98： 104112.
12	MNIH V， KAVUKCUOGLU K， SILVER D， et al. Human-level control through deep reinforcement learning［J］. Nature， 2015， 518： 529-533.
13	SILVER D， HUANG A， MADDISON C J， et al. Mastering the game of Go with deep neural networks and tree search［J］. Nature， 2016， 529： 484-489.
14	BERNER C， BROCKMAN G， CHAN B， et al. Dota2 with large scale deep reinforcement learning［DB/OL］. arXiv preprint： 1912.06680，2019.
15	章胜，周攀，何扬，等. 基于深度强化学习的空战机动决策试验［J］. 航空学报， 2023， 44（10）： 128094.
	ZHANG S， ZHOU P， HE Y， et al. Air combat maneuver decision-making test based on deep reinforcement learning［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（10）： 128094 （in Chinese）.
16	张建东，王鼎涵，杨啟明，等. 基于分层强化学习的无人机空战多维决策［J］. 兵工学报， 2023， 44（6）： 1547-1563.
	ZHANG J D， WANG D H， YANG Q M， et al. Multi-dimensional decision-making for UAV air combat based on hierarchical reinforcement learning［J］. Acta Armamentarii， 2023， 44（6）： 1547-1563 （in Chinese）.
17	邱妍，赵宝奇，邹杰，等. 基于PPO算法的无人机近距空战自主引导方法［J］. 电光与控制， 2023， 30（1）： 8-14.
	QIU Y， ZHAO B Q， ZOU J， et al. An autonomous guidance method of UAV in close air combat based on PPO algorithm［J］. Electronics Optics & Control， 2023， 30（1）： 8-14 （in Chinese）.
18	钱殿伟，齐红敏，刘振，等. 基于改进近端策略优化的空战自主决策研究［J/OL］. 系统仿真学报，（2023-07-20）［2024-01-01］. .
	QIAN D W， QI H M， LIU Z， et al. Research on autonomous decision-making in air-combat based on improved proximal policy optimization［J/OL］. Journal of System Simulation，（2023-07-20）［2024-01-01］. （in Chinese）.
19	BARTO A G. Reinforcement learning［M］∥OMIDVAR O， ELLIOTT D L. Neural Systems for Control. Amsterdam： Elsevier， 1997： 7-30.
20	SUTTON R S， MCALLESTER D， SINGH S， et al. Policy gradient methods for reinforcement learning with function approximation［C］∥ Proceedings of the 12th International Conference on Neural Information Processing Systems. New York： ACM， 1999： 1057–1063.
21	SCHULMAN J， LEVINE S， MORITZ P， et al. Trust region policy optimization［C］∥Proceedings of the 32nd International Conference on International Conference on Machine Learning - Volume 37. New York：ACM，2015：1889-1897.
22	SCHULMAN J， WOLSKI F， DHARIWAL P， et al. Proximal policy optimization algorithms［DB/OL］. arXiv preprint：1707.06347，2017.
23	HAARNOJA T， ZHOU A， HARTIKAINEN K， et al. Soft actor-critic algorithms and applications［DB/OL］. arXiv preprint： 1812.05905，2018.
24	LILLICRAP T P， HUNT J J， PRITZEL A， et al. Continuous control with deep reinforcement learning［DB/OL］. arXiv preprint ：1509.02971， 2015.
25	FUJIMOTO S， VAN HOOF H， MEGER D. Addressing function approximation error in actor-critic methods［C］∥ Proceedings of the 35th International Conference on Machine Learning，2018： 1587-1596.
26	SCHULMAN J， MORITZ P， LEVINE S， et al. High-dimensional continuous control using generalized advantage estimation［DB/OL］. arXiv preprint：1506.02438， 2015.
27	ENGSTROM L， ILYAS A， SANTURKAR S， et al. Implementation matters in deep policy gradients： A case study on PPO and TRPO［DB/OL］. arXiv preprint：2005.12729， 2020.
28	ZHU J Y， KUANG M C， ZHOU W Q， et al. Mastering air combat game with deep reinforcement learning［J］. Defence Technology， 2024， 34： 295-312.
29	王宝来，高显忠，谢涛，等.基于强化学习与种群博弈的近距空战决策研究［J/OL］.航空学报，（2023-11-02）［2024-01-01］. .
	WANG B L， GAO X Z， XIE T， et al. Research on decision-making in close-range air combat based on reinforcement learning and population game［J/OL］. Acta Aeronautica et Astronautica Sinica，（2023-11-02）［2024-01-01］. （in Chinese）.
30	张婷玉，孙明玮，王永帅，等. 基于深度Q网络的近距空战智能机动决策研究［J］. 航空兵器， 2023， 30（3）： 41-48.
	ZHANG T Y， SUN M W， WANG Y S， et al. Research on intelligent maneuvering decision-making in close air combat based on deep Q network［J］. Aero Weaponry， 2023， 30（3）： 41-48 （in Chinese）.
31	ZHANG H P， WEI Y J， ZHOU H， et al. Maneuver decision-making for autonomous air combat based on FRE-PPO［J］. Applied Sciences， 2022， 12（20）： 10230.
32	杨晟琦，田明俊，司迎利，等. 基于分层强化学习的无人机机动决策［J］. 火力与指挥控制， 2023， 48（8）： 48-52， 59.
	YANG S Q， TIAN M J， SI Y L， et al. Research on UAV maneuver decision-making based on hierarchical reinforcement learning［J］. Fire Control & Command Control， 2023， 48（8）： 48-52， 59 （in Chinese）.
33	钟友武，柳嘉润，杨凌宇，等. 自主近距空战中机动动作库及其综合控制系统［J］. 航空学报， 2008， 29（S1）： 114-121.
	ZHONG Y W， LIU J R， YANG L Y， et al. Maneuver library and integrated control system for autonomous close-in air combat ［J］. Acta Aeronautica et Astronautica Sinica， 2008， 29（S1）： 114-121 （in Chinese）.
34	NG A Y， HARADA D， RUSSELL S J. Policy invariance under reward transformations： theory and application to reward shaping［C］∥ Proceedings of the Sixteenth International Conference on Machine Learning. New York： ACM， 1999：278-287.
35	祝靖宇，张宏立，匡敏驰，等.稀疏奖励下基于课程学习的无人机空战仿真［J］.系统仿真学报，2024，36（6）：1452-1467.
	ZHU J Y， ZHANG H L， KUANG M C， et al. Curriculum learning based simulation of UAV air combat under sparse rewards［J］. Journal of System Simulation， 2024，36（6）：1452-1467 （in Chinese）.
36	周文卿，朱纪洪，匡敏驰. 一种基于群体智能的无人空战系统［J］. 中国科学：信息科学， 2020， 50（3）： 363-374.
	ZHOU W Q， ZHU J H， KUANG M C. An unmanned air combat system based on swarm intelligence［J］. Scientia Sinica （Informationis）， 2020， 50（3）： 363-374 （in Chinese）.
37	FAN Z， SU R， ZHANG W N， et al. Hybrid actor-critic reinforcement learning in parameterized action space［DB/OL］. arXiv preprint： 1903.01344，2019.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

序号	动作	参数
0	拉起	过载，爬升率
1	追踪	速度
2	攻击	速度
3	盘旋	过载，盘旋角速度
4	急盘旋	过载，盘旋角速度
5	筋斗	过载，速度
6	平飞	速度

[1]	张鸿林, 罗建军, 马卫华. 基于机器学习的航天器规避目标威胁博弈决策[J]. 航空学报, 2024, 45(8): 329136-329136.
[2]	蔡云鹏, 周大鹏, 丁江川. 具有防撞安全约束的无人机集群智能协同控制[J]. 航空学报, 2024, 45(5): 529683-529683.
[3]	单圣哲, 张伟伟. 基于自博弈深度强化学习的空战智能决策方法[J]. 航空学报, 2024, 45(4): 328723-328723.
[4]	武天才, 王宏伦, 任斌, 刘一恒, 吴星雨, 严国乘. 考虑规避与突防的高超声速飞行器智能容错制导控制一体化设计[J]. 航空学报, 2024, 45(15): 329607-329607.
[5]	王宝来, 高显忠, 谢涛, 侯中喜. 基于强化学习与种群博弈的近距空战决策[J]. 航空学报, 2024, 45(12): 329446-329446.
[6]	倪炜霖, 王永海, 徐聪, 赤丰华, 梁海朝. 基于强化学习的高超飞行器协同博弈制导方法[J]. 航空学报, 2023, 44(S2): 729400-729400.
[7]	王雪鉴, 文永明, 石晓荣, 张宁宁, 刘洁玺. 多智能体多耦合任务混合式智能决策架构设计[J]. 航空学报, 2023, 44(S2): 729770-729770.
[8]	高锡珍, 汤亮, 黄煌. 深度强化学习技术在地外探测自主操控中的应用与挑战[J]. 航空学报, 2023, 44(6): 26762-026762.
[9]	周攀, 黄江涛, 章胜, 刘刚, 舒博文, 唐骥罡. 基于深度强化学习的智能空战决策与仿真[J]. 航空学报, 2023, 44(4): 126731-126731.
[10]	朱祥维, 沈丹, 肖凯, 马岳鑫, 廖祥, 古富强, 余芳文, 高柯夫, 刘经南. 类脑导航的机理、算法、实现与展望[J]. 航空学报, 2023, 44(19): 28569-028569.
[11]	高树一, 林德福, 郑多, 胡馨予. 针对集群攻击的飞行器智能协同拦截策略[J]. 航空学报, 2023, 44(18): 328301-328301.
[12]	董磊, 陈泓兵, 陈曦, 赵长啸. 基于DQN的单一飞行员驾驶模式分布式多智能体联盟任务分配策略[J]. 航空学报, 2023, 44(13): 327895-327895.
[13]	陈文雪, 高长生, 荆武兴. 拦截机动目标的信赖域策略优化制导算法[J]. 航空学报, 2023, 44(11): 327596-327596.
[14]	章胜, 周攀, 何扬, 黄江涛, 刘刚, 唐骥罡, 贾怀智, 杜昕. 基于深度强化学习的空战机动决策试验[J]. 航空学报, 2023, 44(10): 128094-128094.
[15]	向锦武, 董希旺, 丁文锐, 索津莉, 沈林成, 夏辉. 复杂环境下无人集群系统自主协同关键技术[J]. 航空学报, 2022, 43(10): 527570-527570.

基于混合动作的空战分层强化学习决策算法

Hierarchical decision algorithm for air combat with hybrid action based on deep reinforcement learning

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 21

参考文献 37

相关文章 15

编辑推荐

Metrics

本文评价

奖励	胜率/%	负率/%	平局率/%
完整奖励	62	30	8
去除优势奖励	45	47	8
去除威胁奖励	37	62	1
去除躲避奖励	45	38	6
去除扫描奖励	57	39	4