基于强化学习的高超飞行器协同博弈制导方法

doi:10.7527/S1000-6893.2023.29400

临近空间技术

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于强化学习的高超飞行器协同博弈制导方法

倪炜霖¹, 王永海², 徐聪², 赤丰华², 梁海朝¹()

^1.中山大学航空航天学院，深圳　518107
^2.空间物理重点实验室，北京　100076

收稿日期:2023-08-02 修回日期:2023-08-03 接受日期:2023-09-04 出版日期:2023-09-15 发布日期:2023-09-13
通讯作者: 梁海朝 E-mail:lianghch5@mail.sysu.edu.cn
基金资助:
国家自然科学基金(62003375)

Cooperative game guidance method for hypersonic vehicles based on reinforcement learning

Weilin NI¹, Yonghai WANG², Cong XU², Fenghua CHI², Haizhao LIANG¹()

^1.School of Aeronautics and Astronautics，Sun Yat-sen University，Shenzhen 　518107，China
^2.Science and Technology on Space Physics Laboratory，Beijing 　100076，China

Received:2023-08-02 Revised:2023-08-03 Accepted:2023-09-04 Online:2023-09-15 Published:2023-09-13
Contact: Haizhao LIANG E-mail:lianghch5@mail.sysu.edu.cn
Supported by:
National Natural Science Foundation of China(62003375)

摘要/Abstract

摘要：

研究了多拦截场景下高超声速飞行器主动防御攻防对抗的智能协同博弈制导方法。针对高超声速飞行器与主动防御飞行器协同对抗多个拦截器攻击的博弈问题，提出了一种基于双延迟深度确定性策略梯度算法的高超声速飞行器智能协同博弈制导方法，该方法能够在高超声速飞行器与主动防御飞行器机动能力和响应速度不足的情况下实现对于多拦截器的高成功率博弈。通过构建一类启发式连续奖励函数，设计了一种自适应渐进式课程学习方法，提出了一种快速稳定收敛训练方法，解决深度强化学习训练过程中的稀疏奖励问题，实现智能博弈算法的稳定快速收敛。最后通过数值仿真对所提出方法的有效性进行验证，仿真结果表明，所提出的理论方法能够提高训练收敛效率与稳定性，且相比于传统博弈制导方法具有更高的博弈成功率。

关键词: 博弈理论, 奖励函数塑造, 课程学习, 深度强化学习, 高超声速飞行器

Abstract:

The intelligent cooperative game guidance method for hypersonic vehicle active defense attack and defense confrontation in multiple interception scenarios is studied. Aiming at the game problem in which a hypersonic vehicle and an active defense vehicle cooperate against multiple interceptor attacks， we propose an intelligent cooperative game guidance method for a hypersonic vehicle based on a double-delay deep deterministic policy gradient algorithm. It can achieve a high success rate game for multi-interceptors in the case of insufficient maneuverability and response speed of hypersonic aircraft and active defense aircraft. By constructing a class of heuristic continuous reward functions and designing an adaptive progressive curriculum learning method， we propose a fast and stable convergence training method to solve the sparse reward problem in the training process of deep reinforcement learning， and realize the stable and fast convergence of intelligent game algorithms. Finally， the effectiveness of the proposed method is verified by numerical simulation. The simulation results show that the proposed theoretical method can improve the training convergence efficiency and stability， and has a higher game success rate than the traditional game guidance method.

Key words: game theory, reward shaping, curriculum learning, reinforcement learning, hypersonic vehicles

中图分类号:

倪炜霖, 王永海, 徐聪, 赤丰华, 梁海朝. 基于强化学习的高超飞行器协同博弈制导方法[J]. 航空学报, 2023, 44(S2): 729400-729400.

Weilin NI, Yonghai WANG, Cong XU, Fenghua CHI, Haizhao LIANG. Cooperative game guidance method for hypersonic vehicles based on reinforcement learning[J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(S2): 729400-729400.

图/表 14

图 1

表 1

渐进式课程学习设计

任务阶段	阶段1	阶段2	阶段3	阶段4
拦截器制导律	不机动	方波机动	微分对策制导	微分对策制导
最大过载/g	0	$n m a x$	$n m a x / 3 ~ n m a x$	$n m a x$

表 1

图 2

图 3

表 2

表 3

表 4

ICGG超参数

超参数	符号	数值
衰减系数	$γ$	0.99
学习率	$α$	$3 × 10 - 4$
记忆容量	$B$	$218$
批次尺寸	$n b a t c h$	$210$
软更新系数	$τ$	$5 × 10 - 3$
更新延迟	$n o p t$	2
更新次数	$ω$	6 000

表 4

表 5

奖励函数超参数

符号	数值
$α$	$α 11 = α 12 = 3, α 21 = α 22 = 1$
$β$	$β 11 = β 12 = β 21 = β 22 = 10$
$γ$	$γ 11 = γ 12 = γ 21 = γ 22 = 0.4$
$σ$	$σ 1 = σ 2 = 30$

表 5

图 4

图 5

图 6

图 7

表 6

目标飞行器机动策略

机动方法	制导律计算
正弦机动	$a r g u 2 α 3 ⋅ s i n 2 π / T ⋅ t g + c o s θ v g$
方波机动	$a r g u 2 α 3 ⋅ s i g n s i n 2 π / T ⋅ t g + c o s θ v g$
阶跃机动	$α m i n$
随机机动	$a r g u 2 α 3 ⋅ r a n d - 1,1 g + c o s θ v g$
微分对策	$a r g u 2 α 3 ⋅ s g n n 1 Z I 1 T t + n 2 Z I 2 T t g + c o s θ v g$

表 6

图 8

参考文献 43

1	赵良玉，雍恩米，王波兰. 反临近空间高超声速飞行器若干研究进展［J］. 宇航学报， 2020， 41（10）： 1239-1250.
	ZHAO L Y， YONG E M， WANG B L. Some achievements on interception of near space hypersonic vehicles［J］. Journal of Astronautics， 2020， 41（10）： 1239-1250 （in Chinese）.
2	魏明英，崔正达，李运迁. 多弹协同拦截综述与展望［J］. 航空学报， 2020， 41（S1）： 723804.
	WEI M Y， CUI Z D， LI Y Q. Review and future development of multi-missile coordinated interception［J］. Acta Aeronautica et Astronautica Sinica， 2020， 41（S1）： 723804 （in Chinese）.
3	赵亮博，朱广生，张耀，等. 智能飞行器追逃博弈中的关键技术及发展趋势［J］. 飞航导弹， 2021（12）： 134-139.
	ZHAO L B， ZHU G S， ZHANG Y， et al. Key technology and development trend of intelligent aircraft pursuit game［J］. Aerodynamic Missile Journal， 2021（12）： 134-139 （in Chinese）.
4	LEWIS F L， VRABIE D L， SYRMOS V L. Optimal Control［M］. Hoboken： Wiley， 2012.
5	ANDERSON G M. Comparison of optimal control and differential game intercept missile guidance laws［J］. Journal of Guidance and Control， 1981， 4（2）： 109-115.
6	SHINAR J， STEINBERG D. Analysis of optimal evasive maneuvers based on a linearized two-dimensional kinematic model［J］. Journal of Aircraft， 1977， 14（8）： 795-802.
7	BEN-ASHER J Z， CLIFF E M. Optimal evasion against a proportionally guided pursuer［J］. Journal of Guidance， Control， and Dynamics， 1989， 12（4）： 598-600.
8	RYOO C K， CHO H， TAHK M J. Optimal guidance laws with terminal impact angle constraint［J］. Journal of Guidance， Control， and Dynamics， 2005， 28（4）： 724-732.
9	SHAFERMAN V， OSHMAN Y. Stochastic cooperative interception using information sharing based on engagement staggering［J］. Journal of Guidance， Control， and Dynamics， 2016， 39（9）： 2127-2141.
10	SHAFERMAN V， SHIMA T. Cooperative multiple-model adaptive guidance for an aircraft defending missile［J］. Journal of Guidance， Control， and Dynamics， 2010， 33（6）： 1801-1813.
11	FONOD R， SHIMA T. Multiple model adaptive evasion against a homing missile［J］. Journal of Guidance， Control， and Dynamics， 2016， 39（7）： 1578-1592.
12	ISAACS R. Differential games： A mathematical theory with applications to warfare and pursuit， control and optimization ［M］. Courier Corporation， 1999.
13	李运迁，齐乃明，孙小雷，等. 大气层内拦截弹微分对策制导律对策空间分布研究［J］. 航空学报， 2010， 31（8）： 1600-1607.
	LI Y Q， QI N M， SUN X L， et al. Game space decomposition study of differential game guidance law for endoatmospheric interceptor missiles［J］. Acta Aeronautica et Astronautica Sinica， 2010， 31（8）： 1600-1607 （in Chinese）.
14	胡艳艳，张莉，夏辉，等. 不完全信息下基于微分对策的机动目标协同捕获［J］. 航空学报， 2022， 43（S1）： 726905.
	HU Y Y， ZHANG L， XIA H， et al. Cooperative capture of maneuvering targets with incomplete information based on differential game［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（S1）： 726905 （in Chinese）.
15	王雨琪，宁国栋，王晓峰，等. 基于微分对策的临近空间飞行器机动突防策略［J］. 航空学报， 2020， 41（S2）： 724276.
	WANG Y Q， NING G D， WANG X F， et al. Maneuver penetration strategy of near space vehicle based on differential game［J］. Acta Aeronautica et Astronautica Sinica， 2020， 41（S2）： 724276 （in Chinese）.
16	MCRUER D. Design and modeling issues for integrated airframe/propulsion control of hypersonic flight vehicles［C］∥ 1991 American Control Conference. Piscataway： IEEE Press， 2009： 729-734.
17	DALLE D， FRENDREIS S， DRISCOLL J， et al. Hypersonic vehicle flight dynamics with coupled aerodynamic and reduced-order propulsive models： AIAA-2010-7930［R］. Reston： AIAA， 2010.
18	李广华，张洪波，汤国建. 高超声速滑翔飞行器典型弹道特性分析［J］. 宇航学报， 2015， 36（4）： 397-403.
	LI G H， ZHANG H B， TANG G J. Typical trajectory characteristics of hypersonic glide vehicle［J］. Journal of Astronautics， 2015， 36（4）： 397-403 （in Chinese）.
19	李淑艳，任利霞，宋秋贵，等. 临近空间高超音速武器防御综述［J］. 现代雷达， 2014， 36（6）： 13-15， 18.
	LI S Y， REN L X， SONG Q G， et al. Overview of anti-hypersonic weapon in near space［J］. Modern Radar， 2014， 36（6）： 13-15， 18 （in Chinese）.
20	GAUDET B， LINARES R， FURFARO R. Deep reinforcement learning for six degree-of-freedom planetary landing［J］. Advances in Space Research， 2020， 65（7）： 1723-1741.
21	GAUDET B， FURFARO R. Missile homing-phase guidance law design using reinforcement learning： AIAA-2012-4470［R］. Reston： AIAA， 2012.
22	GAUDET B， LINARES R， FURFARO R. Adaptive guidance and integrated navigation with reinforcement meta-learning［J］. Acta Astronautica， 2020， 169： 180-190.
23	GAUDET B， FURFARO R， LINARES R. Reinforcement learning for angle-only intercept guidance of maneuvering targets ［J］. Aerospace Science and Technology， 2020， 99： 105746.
24	LAU M， STEFFENS M J， MAVRIS D N. Closed-loop control in active target defense using machine learning： AIAA-2019-0143［R］. Reston： AIAA， 2019.
25	SHALUMOV V. Cooperative online Guide-Launch-Guide policy in a target-missile-defender engagement using deep reinforcement learning［J］. Aerospace Science and Technology， 2020， 104： 105996.
26	GAUDET B， FURFARO R. Adaptive pinpoint and fuel efficient Mars landing using reinforcement learning［J］. IEEE/CAA Journal of Automatica Sinica， 2014， 1（4）： 397-411.
27	GAUDET B， LINARES R， FURFARO R. Integrated guidance and control for pinpoint Mars landing using reinforcement learning［C］∥ Proceedings of the AAS/AIAA Astrodynamics Specialist Conference. Reston： AIAA， 2018： 1-20.
28	刘子超，王江，何绍溟，等. 基于预测校正的落角约束计算制导方法［J］. 航空学报， 2022， 43（8）： 325433.
	LIU Z C， WANG J， HE S M， et al. A computational guidance algorithm for impact angle control based on predictor-corrector concept［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（8）： 325433 （in Chinese）.
29	HE S M， SHIN H S， TSOURDOS A. Computational missile guidance： A deep reinforcement learning approach［J］. Journal of Aerospace Information Systems， 2021， 18（8）： 571-582.
30	AINSWORTH M， SHIN Y. Plateau phenomenon in gradient descent training of RELU networks： Explanation， quantification， and avoidance［J］. SIAM Journal on Scientific Computing， 2021， 43（5）： A3438-A3468.
31	LI Z， WU J Z， WU Y P， et al. Real-time guidance strategy for active defense aircraft via deep reinforcement learning［C］∥ NAECON 2021-IEEE National Aerospace and Electronics Conference. Piscataway： IEEE Press， 2022： 177-183.
32	LIANG H Z， WANG J Y， WANG Y H， et al. Optimal guidance against active defense ballistic missiles via differential game strategies［J］. Chinese Journal of Aeronautics， 2020， 33（3）： 978-989.
33	LIANG H Z， WANG J Y， LIU J Q， et al. Guidance strategies for interceptor against active defense spacecraft in two-on-two engagement［J］. Aerospace Science and Technology， 2020， 96： 105529.
34	QIU C R， HU Y， CHEN Y， et al. Deep deterministic policy gradient （DDPG）-based energy harvesting wireless communications［J］. IEEE Internet of Things Journal， 2019， 6（5）： 8577-8588.
35	DANKWA S， ZHENG W F. Twin-delayed DDPG： A deep reinforcement learning technique to model a continuous movement of an intelligent robot agent［C］∥ Proceedings of the 3rd International Conference on Vision， Image and Signal Processing. New York： ACM， 2019： 1-5.
36	GULLAPALLI V， BARTO A G. Shaping as a method for accelerating reinforcement learning［C］∥ Proceedings of the 1992 IEEE International Symposium on Intelligent Control. Piscataway： IEEE Press， 2002： 554-559.
37	BENGIO Y， LOURADOUR J， COLLOBERT R， et al. Curriculum learning［C］∥ Proceedings of the 26th Annual International Conference on Machine Learning. New York： ACM， 2009： 41-48.
38	LI X， VASILE C I， BELTA C. Reinforcement learning with temporal logic rewards［C］∥ 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Piscataway： IEEE Press， 2017： 3834-3839.
39	SHANI G， HECKERMAN D， BRAFMAN R. An MDP-based recommender system［J］. J Mach Learn Res， 2002， 6： 1265-1295.
40	LIU F， DONG X W， LI Q D， et al. Cooperative differential games guidance laws for multiple attackers against an active defense target［J］. Chinese Journal of Aeronautics， 2022， 35（5）： 374-389.
41	SHIMA T， SHINAR J. Time-varying linear pursuit-evasion game models with bounded controls［J］. Journal of Guidance， Control， and Dynamics， 2002， 25（3）： 425-432.
42	SHALUMOV V. Optimal cooperative guidance laws in a multiagent target-missile-defender engagement［J］. Journal of Guidance， Control， and Dynamics， 2019， 42（9）： 1993-2006.
43	ZHOU D， SUN S， TEO K L. Guidance laws with finite time convergence［J］. Journal of Guidance， Control， and Dynamics， 2009， 32（6）： 1838-1846.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

参数	数值
质量/kg	400
攻角变化范围/（°）	-5~15
最大攻角角速度/（（°）∙s^-1）	10
气动参考面积/m²	1.5
初始x轴坐标/km	0
初始y轴坐标/km	55
初始x方向速度/（km∙s^-1）	3
初始y方向速度/（km∙s^-1）	0

参数	防御飞行器	拦截飞行器
最大侧向加速度/g	3	6
系统响应时间/s	0.05	0.01
初始x轴坐标/km	5	100
初始y轴坐标/km	54.95，55.05	Rand（54.9~55.1）
初始x轴速度/（km∙s^-1）	3	-2
初始y轴速度/（km∙s^-1）	0	0
杀伤半径/m	0.5	0.75

[1]	马平, 张宁, 石安华, 于哲峰, 梁世昌, 黄洁. 典型微波波段信号在模拟等离子体中的传输特性[J]. 航空学报, 2023, 44(S2): 729476-729476.
[2]	王雪鉴, 文永明, 石晓荣, 张宁宁, 刘洁玺. 多智能体多耦合任务混合式智能决策架构设计[J]. 航空学报, 2023, 44(S2): 729770-729770.
[3]	陈浩宇, 王彬文, 宋巧治, 李晓东. 热颤振地面模拟试验技术[J]. 航空学报, 2023, 44(8): 227295-227295.
[4]	高锡珍, 汤亮, 黄煌. 深度强化学习技术在地外探测自主操控中的应用与挑战[J]. 航空学报, 2023, 44(6): 26762-026762.
[5]	韩荣, 刘伟, 杨小亮. 高超声速飞行器自适应减阻盘动态减阻机理[J]. 航空学报, 2023, 44(4): 126633-126633.
[6]	周攀, 黄江涛, 章胜, 刘刚, 舒博文, 唐骥罡. 基于深度强化学习的智能空战决策与仿真[J]. 航空学报, 2023, 44(4): 126731-126731.
[7]	王梓伊, 张伟伟, 刘磊, 杨肖峰. 适用于复杂流动的热气动弹性降阶建模方法[J]. 航空学报, 2023, 44(4): 126807-126807.
[8]	王忠森, 廖宇新, 魏才盛, 戴婷. 高超声速飞行器快速终端滑模保性能容错控制[J]. 航空学报, 2023, 44(24): 328476-328476.
[9]	闫循良, 王培臣, 王舒眉, 杨宇轩, 王宽. 基于混沌多项式的RBCC飞行器上升段鲁棒轨迹快速优化[J]. 航空学报, 2023, 44(21): 528349-528349.
[10]	朱祥维, 沈丹, 肖凯, 马岳鑫, 廖祥, 古富强, 余芳文, 高柯夫, 刘经南. 类脑导航的机理、算法、实现与展望[J]. 航空学报, 2023, 44(19): 28569-028569.
[11]	董磊, 陈泓兵, 陈曦, 赵长啸. 基于DQN的单一飞行员驾驶模式分布式多智能体联盟任务分配策略[J]. 航空学报, 2023, 44(13): 327895-327895.
[12]	陈文雪, 高长生, 荆武兴. 拦截机动目标的信赖域策略优化制导算法[J]. 航空学报, 2023, 44(11): 327596-327596.
[13]	章胜, 周攀, 何扬, 黄江涛, 刘刚, 唐骥罡, 贾怀智, 杜昕. 基于深度强化学习的空战机动决策试验[J]. 航空学报, 2023, 44(10): 128094-128094.
[14]	孙志坤, 史志伟, 张伟麟, 李铮, 孙琪杰. 等离子体激励器对高速翼型升阻特性的影响[J]. 航空学报, 2022, 43(S2): 23-39.
[15]	郑辉, 邱雷, 袁慎芳, 杨晓飞, 卢绪龙, 薛兆鹏. C/C热防护结构高温气流损伤导波监测实验方法[J]. 航空学报, 2022, 43(8): 225659-225659.

基于强化学习的高超飞行器协同博弈制导方法

Cooperative game guidance method for hypersonic vehicles based on reinforcement learning

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 43

相关文章 15

编辑推荐

Metrics

本文评价