基于DQN的无人机主动捕捉拦阻回收方法

doi:10.7527/S1000-6893.2024.31448

固体力学与飞行器总体设计

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于DQN的无人机主动捕捉拦阻回收方法

王一峰¹^,², 彭一明¹^,²(), 李龙¹^,², 魏小辉¹^,², 聂宏¹^,²

^1.南京航空航天大学，航空航天结构力学及控制全国重点实验室，南京 210016
^2.南京航空航天大学，飞行器先进设计技术国防重点学科实验室，南京 210016

收稿日期:2024-10-28 修回日期:2024-11-11 接受日期:2024-12-03 出版日期:2024-12-11 发布日期:2024-12-10
通讯作者: 彭一明 E-mail:yimingpeng@nuaa.edu.cn
基金资助:
江苏省自然科学基金(BK20220910);国家自然科学基金(52202441);国家自然科学基金(52275114);国防卓越青年科学基金(2018-JCJQ-ZQ-053);航空科学基金(20240013052003)

DQN-based active arrest and recovery technique for UAVs

Yifeng WANG¹^,², Yiming PENG¹^,²(), Long LI¹^,², Xiaohui WEI¹^,², Hong NIE¹^,²

^1.State Key Laboratory of Mechanics and Control for Aerospace Structures，Nanjing University of Aeronautica and Astronautics，Nanjing 210016，China
^2.Key Laboratory of Fundamental Science for National Defense-Advanced Design Technology of Flight Vehicle，Nanjing University of Aeronautica and Astronautics，Nanjing 210016，China

Received:2024-10-28 Revised:2024-11-11 Accepted:2024-12-03 Online:2024-12-11 Published:2024-12-10
Contact: Yiming PENG E-mail:yimingpeng@nuaa.edu.cn
Supported by:
Natural Science Foundation of Jiangsu Province(BK20220910);National Natural Science Foundation of China(52202441);National Defense Outstanding Youth Science Foundation(2018-JCJQ-ZQ-053);Aeronautical Science Foundation of China(20240013052003)

摘要/Abstract

摘要：

使用拦阻索回收无人机时，钩索成功率是评估其回收安全性与可靠性的关键指标之一。针对无人机回收区域受限的情况下如何提高钩索成功率这一问题，提出了一种无人机主动捕捉拦阻回收方法，通过在车载移动平台的拦阻系统在人工智能计算结果的引导下主动移动至最佳钩索位置来提高无人机的钩索成功率。首先，建立无人机着陆回收拦阻动力学模型来计算钩索失效边界，使用支持向量机（SVM）方法对动力学仿真结果进行识别，并生成无人机钩索分析代理模型。然后，将移索过程简化成马尔可夫决策过程，使用移索装置模型作为训练环境，六自由度无人机着陆下滑模型生成数据集，钩索分析代理模型构成奖励函数，采用深度Q网络（DQN）训练得到能够实时计算并引导拦阻装置向最佳钩索位置主动调整的移索策略。仿真结果显示，在回收空间受限的情况下，与传统被动式拦阻回收方法相比，使用主动捕捉拦阻方法钩索成功率提高了29%。该方法有效提高了无人机着陆回收的安全性和可靠性，为智能化回收技术的发展提供了新的理论支持和实践方案。

关键词: 固定翼无人机, 着陆回收, 钩索成功率, DQN, 人工智能

Abstract:

The success rate of hooking the cable is one of the key indicators of safety and reliability when recovering a UAV using arresting cables. To address the challenge of improving the success rate with restricted UAV recovery areas provided by vehicle-mounted mobile platform， this paper proposes an active cable engagement method for UAV arresting and recovery. The method enhances the success rate by having the arresting system actively move to the optimal cable engagement position under the guidance of AI computation results. First， a UAV landing and recovery dynamics model is established to calculate the cable engagement failure boundary. The Support Vector Machine （SVM） method is applied to identify the dynamics simulation results and generate a proxy model for UAV cable engagement analysis. Then， the cable-moving process is simplified into a Markov decision process. Using the cable-moving device model as the training environment， a six-degree-of-freedom UAV landing and descent model is employed to generate the dataset， and the cable engagement analysis proxy model is used as the reward function. A Deep Q-Network （DQN） is applied to train a cable-moving strategy that dynamically computes and guides the arresting system to adjust to the optimal engagement position in real time. Simulation results show that with limited recovery space， the proposed method improves the success rate by 29% compared to the traditional passive recovery method. This approach significantly enhances the safety and reliability of UAV landing and recovery， providing new theoretical support and practical solutions for the development of intelligent recovery technology.

Key words: fixed-wing UAV, landing recovery, success rate of hooking cable, deep Q-network (DQN), artificial intelligence (AI)

中图分类号:

V226

王一峰, 彭一明, 李龙, 魏小辉, 聂宏. 基于DQN的无人机主动捕捉拦阻回收方法[J]. 航空学报, 2025, 46(12): 231448.

Yifeng WANG, Yiming PENG, Long LI, Xiaohui WEI, Hong NIE. DQN-based active arrest and recovery technique for UAVs[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(12): 231448.

图/表 19

图 1

表 1

德莱登风速模型参数

干扰类型	高度/m	$L u = L v$ /m	$L w$ /m	$σ u = σ v$ /（m·s^-1）	$σ w$ / （m·s^-1）
1	50	200	50	1.06	0.7
2	50	200	50	2.12	1.4
3	600	533	533	1.5	1.5
4	600	533	533	3.0	3.0

表 1

图 2

图 3

图 4

图 5

图 6

表 2

图 7

图 8

图 9

图 10

表 3

DQN训练模型超参数

超参数	数值	超参数	数值
批大小	256	Qnet隐藏层大小	512
学习率	0.001	目标Qnet更新频率	5
折扣率 $γ$	0.9	回放池大小	10⁶
$ϵ$ 衰减率	0.995	$ϵ$ 最小值	0.01

表 3

图 11

图 12

图 13

图 14

图 15

图 16

参考文献 23

[1]	黄定超，樊兴，郭铭. 舰载无人机系统技术研究［J］. 舰船电子工程， 2008， 28（5）： 32-36.
	HUANG D C， FAN X， GUO M. Research on shipborne UAV system technology［J］. Ship Electronic Engineering， 2008， 28（5）： 32-36 （in Chinese）.
[2]	MIRZAEE KAHAGH A， PAZOOKI F， ETEMADI HAGHIGHI S， et al. Real-time formation control and obstacle avoidance algorithm for fixed-wing UAVs‍［J］. The Aeronautical Journal， 2022， 126（1306）： 2111-2133.
[3]	鲁亚飞，陈清阳，郭正. Aerosonde全地形固定翼无人机发展与技术特点［J］. 国防科技， 2023， 44（6）： 51-58.
	LU Y F， CHEN Q Y， GUO Z. Development and characteristics of aerosonde all-terrain fixed-wing unmanned aerial vehicle［J］. National Defense Technology， 2023， 44（6）： 51-58 （in Chinese）.
[4]	SU Z K， XING Z L， LI X B， et al. Constrained docking control for shipborne UAV SideArm recovery［J］. Chinese Journal of Aeronautics， 2024， 37（5）： 39-59.
[5]	KIM H J， KIM M， LIM H， et al. Fully autonomous vision-based net-recovery landing system for a fixed-wing UAV‍［J］. IEEE/ASME Transactions on Mechatronics， 2013， 18（4）： 1320-1333.
[6]	胡琦，陶彦瑾，韩世东，等. 高速无人飞行器伞吊点隔框拓扑优化设计［J］. 机械制造与自动化， 2023， 52（4）： 221-224.
	HU Q， TAO Y J， HAN S D， et al. Topology optimization design of hanging point bulkhead for parachute of high-speed UAV［J］. Machine Building & Automation， 2023， 52（4）： 221-224 （in Chinese）.
[7]	SHAO H Y， KAN Z， WANG Y F， et al. Dynamic analysis and numerical simulation of arresting hook engaging cable in carried-based UAV landing process［J］. Drones， 2023， 7（8）： 530.
[8]	柳刚，聂宏. 飞机拦阻钩碰撞动力学和拦阻钩纵向阻尼器性能［J］. 航空学报， 2009， 30（11）： 2093-2099.
	LIU G， NIE H. Dynamics of bounce of aircraft arresting hook impacting with deck and performance of arresting hook longitudinal damper［J］. Acta Aeronautica et Astronautica Sinica， 2009， 30（11）： 2093-2099 （in Chinese）.
[9]	陆沛文，魏小辉，彭一明，等. 某舰载机偏滚着舰挂索特性研究［J］. 航空计算技术， 2018， 48（3）： 78-81.
	LU P W， WEI X H， PENG Y M， et al. Research on rolling characteristics of a carrier-based aircraft［J］. Aeronautical Computing Technique， 2018， 48‍（3）： 78-81 （in Chinese）.
[10]	黄祥，赵利霞，李伟，等. 飞机拦阻钩系统动力学分析与仿真［J］. 飞机设计， 2020， 40（2）： 41-44.
	HUANG X， ZHAO L X， LI W， et al. Dynamic analysis and simulation of aircraft arresting hook system［J］. Aircraft Design， 2020， 40（2）： 41-44 （in Chinese）.
[11]	谢朋朋，彭一明，魏小辉，等. 计及弯折波的舰载飞机偏心拦阻动力学分析［J］. 北京航空航天大学学报， 2020， 46（8）： 1582-1591.
	XIE P P， PENG Y M， WEI X H， et al. Dynamic analysis of off-center arrest for carrier-based aircraft considering kink-wave［J］. Journal of Beijing University of Aeronautics and Astronautics， 2020， 46（8）： 1582-1591 （in Chinese）.
[12]	ZHANG Z， PENG Y M， WEI X H， et al. Research on longitudinal dynamics safety boundary of carrier-based aircraft arresting‍［J］. Aerospace Science and Technology， 2022， 130： 107864.
[13]	廖馨宇. 基于移动平台的无人机捕捉拦阻系统设计与分析［D］. 南京：南京航空航天大学， 2021.
	LIAO X Y. Design and analysis of arresting system based on mobile platform for UAV capture［D］. Nanjing： Nanjing University of Aeronautics and Astronautics， 2021 （in Chinese）.
[14]	王慧，喻天翔，庞欢，等. 基于多体仿真模型的某锁机构可靠性仿真分析［C］∥2012年LMS中国用户大会. 2012： 1-4.
	WANG H， YU T X， PANG H， et al. Reliability simulation analysis of a lock mechanism based on multi-body simulation model［C］∥Proceedings of LMS China User Conference 2012. 2012： 1-4 （in Chinese）.
[15]	彭一明，印寅，魏小辉，等. 舰载飞机着舰挂索成功率计算方法研究［J］. 机械工程学报， 2022， 58（15）： 216-225.
	PENG Y M， YIN Y， WEI X H， et al. Research on the calculation method of the success rate of carrier-based aircraft landing and hooking cable［J］. Journal of Mechanical Engineering， 2022， 58（15）： 216-225 （in Chinese）.
[16]	李道春，姚卓尔，邵浩原. 一种舰载机着舰过程拦阻钩弹跳与钩索啮合分析方法： CN113536625B［Z］. 2023-05-30.
	LI D C， YAO Z E， SHAO H Y. A method for analyzing the engagement of the interceptor hook bouncing and the hook and cable during the landing process of a shipboard aircraft： CN113536625B ［Z］. 2023-05-30 （in Chinese）.
[17]	MNIH V， KAVUKCUOGLU K， SILVER D， et al. Playing atari with deep reinforcement learning［J］. ArXiv e-Prints， 2013： arXiv： .
[18]	VAN HASSELT H， GUEZ A， SILVER D. Deep reinforcement learning with double Q-learning［C］∥Proceedings of the AAAI Conference on Artificial Intelligence， 2016.
[19]	WANG Z Y， SCHAUL T， HESSEL M， et al. Dueling network architectures for deep reinforcement learning［C］‍∥International Conference on Machine Learning. 2021.
[20]	SCHAUL T， QUAN J， ANTONOGLOU I， et al. Prioritized experience replay［EB/OL］. arXiv：， 2015.
[21]	ZHANG F Y， LEITNER J， MILFORD M， et al. Towards vision-based deep reinforcement learning for robotic motion control［EB/OL］. arXiv：， 2015.
[22]	NGUYEN H， THUDUMU S， DU H， et al. UAV dynamic object tracking with lightweight deep vision reinforcement learning［J］. Algorithms， 2023， 16（5）： 227.
[23]	BEARD R W， MCLAIN T W. Small unmanned aircraft： Theory and practice［M］. New Jersey： Princeton University Press， 2012.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

序号	航向落点距索距离/m	航向速度/ （m∙s^-1）	下沉速度/ （m∙s^-1）	钩索情况
1	3.7	23	1.6	1
2	2.3	26	1.6	1
3	1.7	26	1.7	0
4	0.1	25	1.8	1
5	0.5	25	1.7	0
6	0.5	25	1.6	0
7	0.5	26	1.7	1
8	3.5	24	1.7	1
9	4.5	25	1.5	1
10	0.4	25	1.7	1

基于DQN的无人机主动捕捉拦阻回收方法

DQN-based active arrest and recovery technique for UAVs

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 19

参考文献 23

相关文章 15

编辑推荐

Metrics

本文评价

序号	航向落点距索距离/m	航向速度/ （m∙s^-1）	下沉速度/ （m∙s^-1）	钩索情况
1	3.7	23	1.6	1
2	2.3	26	1.6	1
3	1.7	26	1.7	0
4	0.1	25	1.8	1
5	0.5	25	1.7	0
6	0.5	25	1.6	0
7	0.5	26	1.7	1
8	3.5	24	1.7	1
9	4.5	25	1.5	1
10	0.4	25	1.7	1

[1]	吴光辉, 王景, 谢海润, 马涂亮, 苗强, 向纪鑫, 张淼. 数据与知识联合赋能的民机智能气动设计[J]. 航空学报, 2025, 46(5): 531485-531485.
[2]	李俊志, 龙腾, 孙景亮, 苗洪语, 周桢林. 城市环境下固定翼无人机微分平坦时空分层轨迹规划[J]. 航空学报, 2025, 46(11): 531369-531369.
[3]	陈树生, 贾苜梁, 林家豪, 金世轶, 高正红, 王岳青, 马志强, 李铮, 段辰龙, 李佳伟. 生成式模型赋能飞行器技术应用研究进展与展望[J]. 航空学报, 2025, 46(10): 631194-631194.
[4]	尹洪玉, 吴宇, 梁天骄. 固定翼无人机巡逻覆盖协同路径规划方法[J]. 航空学报, 2024, 45(6): 328944-328944.
[5]	单圣哲, 张伟伟. 基于自博弈深度强化学习的空战智能决策方法[J]. 航空学报, 2024, 45(4): 328723-328723.
[6]	李俊燊, 孟祥彦, 石暖暖, 李伟, 祝宁华, 李明. 光学神经网络智能处理：技术演变与未来展望[J]. 航空学报, 2024, 45(20): 630439-630439.
[7]	杨振, 李琳, 柴仕元, 黄吉传, 朴海音, 周德云. 面向多战术需求的无人机空战自主规避机动方法[J]. 航空学报, 2024, 45(20): 630629-630629.
[8]	郝嘉煜, 彭一明, 魏小辉, 马辉. 基于磁流变技术的主动控制拦阻装置设计与分析[J]. 航空学报, 2024, 45(12): 428818-428818.
[9]	张清瑞, 刘赟韵, 孙慧杰, 朱波. 固定翼无人机紧密编队的鲁棒协同跟踪控制[J]. 航空学报, 2024, 45(1): 629233-629233.
[10]	许勇, 颜鸿涛, 贾涛, 马跃, 邓泽华, 刘多能. 固定翼集群无人机空中模拟对接技术[J]. 航空学报, 2023, 44(5): 326539-326539.
[11]	何林坤, 薛文超, 张冉, 李惠峰. 运载火箭动力着陆段制导控制方法综述与展望[J]. 航空学报, 2023, 44(23): 628462-628462.
[12]	刘育玮, 程玉强, 吴建军. 航天推进系统中的智能控制方法研究进展[J]. 航空学报, 2023, 44(15): 528505-528505.
[13]	惠俊鹏, 汪韧, 俞启东. 基于强化学习的再入飞行器“新质”走廊在线生成技术[J]. 航空学报, 2022, 43(9): 325960-325960.
[14]	王皓, 陈根良. 机器人型装备在航空装配中的应用现状与研究展望[J]. 航空学报, 2022, 43(5): 626128-626128.
[15]	胡庆雷, 邵小东, 杨昊旸, 段超. 航天器多约束姿态规划与控制:进展与展望[J]. 航空学报, 2022, 43(10): 527351-527351.

序号	航向落点距索距离/m	航向速度/ （m∙s^-1）	下沉速度/ （m∙s^-1）	钩索情况
1	3.7	23	1.6	1
2	2.3	26	1.6	1
3	1.7	26	1.7	0
4	0.1	25	1.8	1
5	0.5	25	1.7	0
6	0.5	25	1.6	0
7	0.5	26	1.7	1
8	3.5	24	1.7	1
9	4.5	25	1.5	1
10	0.4	25	1.7	1

序号	航向落点距索距离/m	航向速度/ （m∙s^-1）	下沉速度/ （m∙s^-1）	钩索情况
1	3.7	23	1.6	1
2	2.3	26	1.6	1
3	1.7	26	1.7	0
4	0.1	25	1.8	1
5	0.5	25	1.7	0
6	0.5	25	1.6	0
7	0.5	26	1.7	1
8	3.5	24	1.7	1
9	4.5	25	1.5	1
10	0.4	25	1.7	1