基于强化学习的禁飞区绕飞智能制导技术

doi:10.7527/S1000-6893.2022.27416

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于强化学习的禁飞区绕飞智能制导技术

惠俊鹏¹(), 汪韧², 郭继峰¹

^1.哈尔滨工业大学航天学院，哈尔滨 150006
^2.中国航天科技创新研究院，北京 100176

收稿日期:2022-05-11 修回日期:2022-12-08 接受日期:2023-01-17 出版日期:2023-06-15 发布日期:2023-02-06
通讯作者: 惠俊鹏 E-mail:hjpbuaa@126.com
基金资助:
国家级项目

Intelligent guidance for no⁃fly zone avoidance based on reinforcement learning

Junpeng HUI¹(), Ren WANG², Jifeng GUO¹

^1.School of Astronautics，Harbin Institute of Technology，Harbin 150006，China
^2.China Academy of Aerospace Science and Innovation，Beijing 100176，China

Received:2022-05-11 Revised:2022-12-08 Accepted:2023-01-17 Online:2023-06-15 Published:2023-02-06
Contact: Junpeng HUI E-mail:hjpbuaa@126.com
Supported by:
National Level project

摘要/Abstract

摘要：

人工智能（AI）的快速发展为飞行器制导技术的研究提供新的技术途径。本文针对高速飞行器面临不确定禁飞区的绕飞问题，提出“预测校正制导—基于监督学习预训练倾侧角制导模型—基于强化学习进一步升级倾侧角制导模型”逐级递进的禁飞区绕飞智能制导研究框架：一是基于传统预测校正制导生成大量禁飞区绕飞样本轨迹，并基于监督学习方法对倾侧角制导模型进行预训练；二是进一步采用强化学习中近端策略优化算法（PPO）升级倾侧角制导模型，通过飞行器与带有不确定禁飞区环境的大量交互探索，并设置有效的奖励引导，充分挖掘高升阻比飞行器强大的横向机动能力，摆脱传统预测校正制导方法对倾侧角解空间的约束，期望产生更优的绕飞策略。通过与传统预测校正制导和基于监督学习的智能制导的对比分析，验证了基于强化学习的禁飞区绕飞智能制导技术能够充分发挥飞行器的宽域飞行优势，满足未来飞行器智能决策系统对不确定绕飞场景的适应性需求。

关键词: 智能制导, 禁飞区绕飞, 强化学习, PPO算法, 监督学习

Abstract:

The rapid development of Artificial Intelligence （AI） provides a new technical approach for the research of aircraft guidance. Aiming at the problem of reentry aircraft for avoiding uncertain no-fly zone， we propose the research frame of “predictor-corrector guidance-pre-training of bank angle guidance model based on supervised learning-further training of bank angle guidance model based on reinforcement learning”. On the one hand， lots of flying trajectory for avoiding no-fly zone are produced by predictor-corrector guidance. The bank angle guidance model is pre-trained with supervised learning algorithm. On the other hand， the bank angle guidance model is further trained by the use of Proximal Policy Optimization （PPO） algorithm. A large number of exploration interactions are taken between aircraft and environment with uncertain no-fly-zone. At the same time， the powerful lateral maneuverability of high lift-drag ratio reentry aircraft is exploited with effective reward. Such method will get rid of restriction of bank angle solution space produced by predictor-corrector guidance， which is expected to produce better strategy for avoiding no-fly zone. By comparing with traditional predictor-corrector guidance and intelligent guidance based on supervised learning， it is verified that the no-fly zone intelligent guidance technology based on reinforcement learning can fully exploit the wide area flight advantages of aircraft， so as to meet the adaptability requirements of future intelligent decision system under uncertain scenarios.

Key words: intelligent guidance, no-fly zone avoidance, reinforcement learning, PPO algorithm, supervised learning

中图分类号:

V448.235

惠俊鹏, 汪韧, 郭继峰. 基于强化学习的禁飞区绕飞智能制导技术[J]. 航空学报, 2023, 44(11): 327416-327416.

Junpeng HUI, Ren WANG, Jifeng GUO. Intelligent guidance for no⁃fly zone avoidance based on reinforcement learning[J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2023, 44(11): 327416-327416.

图/表 15

图1

图2

图3

表1

飞行器再入初始点和禁飞区的参数

再入起始状态参数	取值
$h 0 / k m$	$50, 75$
$θ 0 /$ （°）	$- 2,13$
$ϕ 0 / (°)$	$- 22,3$
- $V 0 / (m ⋅ s - 1)$	$5 500,6 000$
$γ 0 / (°)$	$- 3,3$
$ψ 0 / (°)$	$- 3,3$
$θ N F Z / (°)$	$20,25,30,35$
$ϕ N F Z / (°)$	$- 5$
$R N F Z / k m$	700

表1

图4

图5

图6

图7

图8

图9

图10

表2

飞行器再入初始状态和气动参数偏差

扰动项	分布类型	误差界限
$Δ r / k m$	均匀分布	$± 2$
$Δ θ / (°)$	均匀分布	$± 0.2$
$Δ ϕ / (°)$	均匀分布	$± 0.2$
$Δ V / (m ⋅ s - 1)$	均匀分布	$± 50$
$Δ γ / (°)$	均匀分布	$± 0.3$
$Δ ψ / (°)$	均匀分布	$± 1$
$Δ C L / %$	均匀分布	$± 30$
$Δ C D / %$	均匀分布	$± 30$

表2

图11

图12

图13

参考文献 36

1	包为民. 航天飞行器控制技术研究现状与发展趋势［J］. 自动化学报， 2013， 39（6）： 697-702.
	BAO W M. Present situation and development tendency of aerospace control techniques［J］. Acta Automatica Sinica， 2013， 39（6）： 697-702 （in Chinese）.
2	高长生，陈尔康，荆武兴. 高超声速飞行器机动规避轨迹优化［J］. 哈尔滨工业大学学报， 2017， 49（4）： 16-21.
	GAO C S， CHEN E K， JING W X. Maneuver evasion trajectory optimization for hypersonic vehicles［J］. Journal of Harbin Institute of Technology， 2017， 49（4）： 16-21 （in Chinese）.
3	李柯，聂万胜，冯必鸣. 助推-滑翔飞行器规避能力研究［J］. 飞行力学， 2013， 31（2）： 148-151， 156.
	LI K， NIE W S， FENG B M. Research on elusion capability of boost-glide vehicle［J］. Flight Dynamics， 2013， 31（2）： 148-151， 156 （in Chinese）.
4	卢青，周军，周敏. 考虑禁飞区的高超声速飞行器再入制导［J］. 西北工业大学学报， 2017， 35（5）： 749-754.
	LU Q， ZHOU J， ZHOU M. Reentry guidance for hypersonic vehicle considering no-fly zone［J］. Journal of Northwestern Polytechnical University， 2017， 35（5）： 749-754 （in Chinese）.
5	高兴，张璐，韦常柱. 面向禁飞区约束的再入滑翔飞行器快速轨迹规划［J］. 战术导弹技术， 2018（5）： 62-67， 94.
	GAO X， ZHANG L， WEI C Z. Rapid trajectory planning for reentry glide vehicle satisfying no-fly zone constraint［J］. Tactical Missile Technology， 2018（5）： 62-67， 94 （in Chinese）.
6	赵江，周锐，张超. 考虑禁飞区规避的预测校正再入制导方法［J］. 北京航空航天大学学报， 2015， 41（5）： 864-870.
	ZHAO J， ZHOU R， ZHANG C. Predictor-corrector reentry guidance satisfying no-fly zone constraints［J］. Journal of Beijing University of Aeronautics and Astronautics， 2015， 41（5）： 864-870 （in Chinese）.
7	LIANG Z X， LIU S Y， LI Q D， et al. Lateral entry guidance with no-fly zone constraint［J］. Aerospace Science and Technology， 2017， 60： 39-47.
8	ZHANG D， LIU L， WANG Y J. On-line reentry guidance algorithm with both path and no-fly zone constraints［J］. Acta Astronautica， 2015， 117： 243-253.
9	赵亮博，徐玮，董超，等. 基于虚拟目标导引的再入飞行器禁飞区规避制导方法研究［J］. 中国科学：物理学力学天文学， 2021， 51（10）： 65-74.
	ZHAO L B， XU W， DONG C， et al. Evasion guidance of re-entry vehicle satisfying no-fly zone constraints based on virtual goals［J］. Scientia Sinica （Physica， Mechanica & Astronomica）， 2021， 51（10）： 65-74 （in Chinese）.
10	章吉力，周大鹏，杨大鹏，等. 禁飞区影响下的空天飞机可达区域计算方法［J］. 航空学报， 2021， 42（8）： 525771.
	ZHANG J L， ZHOU D P， YANG D P， et al. Computation method for reachable domain of aerospace plane under the influence of no-fly zone［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（8）： 525771 （in Chinese）.
11	章吉力，刘凯，樊雅卓，等. 考虑禁飞区规避的空天飞行器分段预测校正再入制导方法［J］. 宇航学报， 2021， 42（1）： 122-131.
	ZHANG J L， LIU K， FAN Y Z， et al. A piecewise predictor-corrector re-entry guidance algorithm with no-fly zone avoidance［J］. Journal of Astronautics， 2021， 42（1）： 122-131 （in Chinese）.
12	LIANG Z X， REN Z. Tentacle-based guidance for entry flight with no-fly zone constraint［J］. Journal of Guidance， Control， and Dynamics， 2018， 41（4）： 996-1005.
13	高杨，蔡光斌，徐慧，等. 虚拟多触角探测的高超声速滑翔飞行器再入机动制导［J］. 航空学报， 2020， 41（11）： 623703.
	GAO Y， CAI G B， XU H， et al. Reentry maneuver guidance of hypersonic glide vehicle under virtual multi-tentacle detection［J］. Acta Aeronautica et Astronautica Sinica， 2020， 41（11）： 623703 （in Chinese）.
14	LI Z H， YANG X J， SUN X D， et al. Improved artificial potential field based lateral entry guidance for waypoints passage and no-fly zones avoidance［J］. Aerospace Science and Technology， 2019， 86： 119-131.
15	YU W B， CHEN W C， JIANG Z G， et al. Analytical entry guidance for no-fly-zone avoidance［J］. Aerospace Science and Technology， 2018， 72： 426-442.
16	SUTTON R S， BARTO A G. Reinforcement learning： An introduction［M］. Cambridge： MIT Press， 2011： 119-138.
17	MNIH V， KAVUKCUOGLU K， SILVER D， et al. Human-level control through deep reinforcement learning［J］. Nature， 2015， 518（7540）： 529-533.
18	LILLICRAP T P， HUNT J J， PRITZEL A， et al. Continuous control with deep reinforcement learning［DB/OL］. arXiv perprint： 1509.02971， 2015.
19	HAARNOJA T， ZHOU A， ABBEEL P， et al. Soft actor-critic： Off-policy maximum entropy deep reinforcement learning with a stochastic actor［DB/OL］. arXiv preprint： 1801.01290， 2018.
20	SCHULMAN J， WOLSKI F， DHARIWAL P， et al. Proximal policy optimization algorithms［DB/OL］. arXiv preprint： 1707.06347， 2017.
21	张秦浩，敖百强，张秦雪. Q-learning强化学习制导律［J］. 系统工程与电子技术， 2020， 42（2）： 414-419.
	ZHANG Q H， AO B Q， ZHANG Q X. Reinforcement learning guidance law of Q-learning［J］. Systems Engineering and Electronics， 2020， 42（2）： 414-419 （in Chinese）.
22	GAUDET B， FURFARO R， LINARES R. Reinforcement learning for angle-only intercept guidance of maneuvering targets［DB/OL］. arXiv preprint： 1906.02113， 2019.
23	HOVELL K， ULRICH S. Deep reinforcement learning for spacecraft proximity operations guidance［J］. Journal of Spacecraft and Rockets， 2021， 58（2）： 254-264.
24	HOVELL K， ULRICH S. On deep reinforcement learning for spacecraft guidance： AIAA-2020-1600［R］. Reston： AIAA， 2020.
25	郭冬子，黄荣，许河川，等. 再入飞行器深度确定性策略梯度制导方法研究［J/OL］. 系统工程与电子技术，（2021-09-29）［2022-05-11］. .
	GUO D Z， HUANG R， XU H C， et al. Research on deep deterministic policy gradient reinforcement learning guidance method for reentry vehicle［J/OL］. Systems Engineering and Electronics，（2021-09-29）［2022-05-11］. .
26	刘扬，何泽众，王春宇，等. 基于DDPG算法的末制导律设计研究［J］. 计算机学报， 2021， 44（9）： 1854-1865.
	LIU Y， HE Z Z， WANG C Y， et al. Terminal guidance law design based on DDPG algorithm［J］. Chinese Journal of Computers， 2021， 44（9）： 1854-1865 （in Chinese）.
27	张晚晴，余文斌，李静琳，等. 基于纵程解析解的飞行器智能横程机动再入协同制导［J］. 兵工学报， 2021， 42（7）： 1400-1411.
	ZHANG W Q， YU W B， LI J L， et al. Cooperative reentry guidance for intelligent lateral maneuver of hypersonic vehicle based on downrange analytical solution［J］. Acta Armamentarii， 2021， 42（7）： 1400-1411 （in Chinese）.
28	CHAI R Q， TSOURDOS A， SAVVARIS A， et al. Six-DOF spacecraft optimal trajectory planning and real-time attitude control： A deep neural network-based approach［J］. IEEE Transactions on Neural Networks and Learning Systems， 2020， 31（11）： 5005-5013.
29	黄旭，柳嘉润，贾晨辉，等. 深度确定性策略梯度算法用于无人飞行器控制［J］. 航空学报， 2021， 42（11）： 524688.
	HUANG X， LIU J R， JIA C H， et al. Deep deterministic policy gradient algorithm for UAV control［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（11）： 524688 （in Chinese）.
30	裴培，何绍溟，王江，等. 一种深度强化学习制导控制一体化算法［J］. 宇航学报， 2021， 42（10）： 1293-1304.
	PEI P， HE S M， WANG J， et al. Integrated guidance and control for missile using deep reinforcement learning［J］. Journal of Astronautics， 2021， 42（10）： 1293-1304 （in Chinese）.
31	郭继峰，陈宇燊，白成超. 基于强化学习的在轨目标逼近［J］. 航天控制， 2021， 39（5）： 44-50.
	GUO J F， CHEN Y S， BAI C C. On-orbit target approach based on reinforcement learning［J］. Aerospace Control， 2021， 39（5）： 44-50 （in Chinese）.
32	惠俊鹏，汪韧，俞启东. 基于强化学习的再入飞行器“新质”走廊在线生成技术［J］. 航空学报， 2022， 43（9）： 325960.
	HUI J P， WANG R， YU Q D. Generating new quality flight corridor for reentry aircraft based on reinforcement learning［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（9）： 325960 （in Chinese）.
33	SILVER D， HUANG A， MADDISON C J， et al. Mastering the game of go with deep neural networks and tree search［J］. Nature， 2016， 529（7587）： 484-489.
34	SUTSKEVER I， MARTENS J， DAHL G， et al. On the importance of initialization and momentum in deep learning［C］∥ Proceedings of the 30th International Conference on International Conference on Machine Learning-Volume 28. New York： ACM， 2013： 1139-1147.
35	HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780.
36	汪韧，惠俊鹏，俞启东，等. 基于LSTM模型的飞行器智能制导技术研究［J］. 力学学报， 2021， 53（7）： 2047-2057.
	WANG R， HUI J P， YU Q D， et al. Research of LSTM model-based intelligent guidance of flight aircraft［J］. Chinese Journal of Theoretical and Applied Mechanics， 2021， 53（7）： 2047-2057 （in Chinese）.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

[1]	张鸿林, 罗建军, 马卫华. 基于机器学习的航天器规避目标威胁博弈决策[J]. 航空学报, 2024, 45(8): 329136-329136.
[2]	蔡云鹏, 周大鹏, 丁江川. 具有防撞安全约束的无人机集群智能协同控制[J]. 航空学报, 2024, 45(5): 529683-529683.
[3]	单圣哲, 张伟伟. 基于自博弈深度强化学习的空战智能决策方法[J]. 航空学报, 2024, 45(4): 328723-328723.
[4]	杨加秀, 李新凯, 张宏立, 王昊. 切换拓扑下异构集群的强化学习时变编队控制[J]. 航空学报, 2024, 45(10): 329166-329166.
[5]	肖冰, 张海朝. 航天器姿态稳定强化学习鲁棒最优控制方法[J]. 航空学报, 2024, 45(1): 628890-628890.
[6]	倪炜霖, 王永海, 徐聪, 赤丰华, 梁海朝. 基于强化学习的高超飞行器协同博弈制导方法[J]. 航空学报, 2023, 44(S2): 729400-729400.
[7]	王雪鉴, 文永明, 石晓荣, 张宁宁, 刘洁玺. 多智能体多耦合任务混合式智能决策架构设计[J]. 航空学报, 2023, 44(S2): 729770-729770.
[8]	邓有朋, 范佳宣, 郑岩, 王振亚, 吕勇梁, 李雨霄. 不完全信息下多智能体对手建模[J]. 航空学报, 2023, 44(S2): 729782-729782.
[9]	范之琳, 杨洪勇, 韩艺琳. 基于强化学习的多智能体系统目标围捕控制[J]. 航空学报, 2023, 44(S1): 727487-727487.
[10]	符小卫, 徐哲, 朱金冬, 王楠. 基于PER-MATD3的多无人机攻防对抗机动决策[J]. 航空学报, 2023, 44(7): 327083-327083.
[11]	高锡珍, 汤亮, 黄煌. 深度强化学习技术在地外探测自主操控中的应用与挑战[J]. 航空学报, 2023, 44(6): 26762-026762.
[12]	周攀, 黄江涛, 章胜, 刘刚, 舒博文, 唐骥罡. 基于深度强化学习的智能空战决策与仿真[J]. 航空学报, 2023, 44(4): 126731-126731.
[13]	付宇鹏, 邓向阳, 朱子强, 张立民. 基于价值滤波的空战机动决策优化方法[J]. 航空学报, 2023, 44(22): 628871-628871.
[14]	岳承磊, 汪雪川, 岳晓奎, 宋婷. 基于逆强化学习的航天器交会对接方法[J]. 航空学报, 2023, 44(19): 328420-328420.
[15]	朱祥维, 沈丹, 肖凯, 马岳鑫, 廖祥, 古富强, 余芳文, 高柯夫, 刘经南. 类脑导航的机理、算法、实现与展望[J]. 航空学报, 2023, 44(19): 28569-028569.

基于强化学习的禁飞区绕飞智能制导技术

Intelligent guidance for no⁃fly zone avoidance based on reinforcement learning

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 36

相关文章 15

编辑推荐

Metrics

本文评价