基于DQN的无人机主动捕捉拦阻回收方法
收稿日期: 2024-10-28
修回日期: 2024-11-11
录用日期: 2024-12-03
网络出版日期: 2024-12-10
基金资助
江苏省自然科学基金(BK20220910);国家自然科学基金(52202441);国家自然科学基金(52275114);国防卓越青年科学基金(2018-JCJQ-ZQ-053);航空科学基金(20240013052003)
DQN-based active arrest and recovery technique for UAVs
Received date: 2024-10-28
Revised date: 2024-11-11
Accepted date: 2024-12-03
Online published: 2024-12-10
Supported by
Natural Science Foundation of Jiangsu Province(BK20220910);National Natural Science Foundation of China(52202441);National Defense Outstanding Youth Science Foundation(2018-JCJQ-ZQ-053);Aeronautical Science Foundation of China(20240013052003)
使用拦阻索回收无人机时，钩索成功率是评估其回收安全性与可靠性的关键指标之一。针对无人机回收区域受限的情况下如何提高钩索成功率这一问题，提出了一种无人机主动捕捉拦阻回收方法，通过在车载移动平台的拦阻系统在人工智能计算结果的引导下主动移动至最佳钩索位置来提高无人机的钩索成功率。首先，建立无人机着陆回收拦阻动力学模型来计算钩索失效边界，使用支持向量机（SVM）方法对动力学仿真结果进行识别，并生成无人机钩索分析代理模型。然后，将移索过程简化成马尔可夫决策过程，使用移索装置模型作为训练环境，六自由度无人机着陆下滑模型生成数据集，钩索分析代理模型构成奖励函数，采用深度Q网络（DQN）训练得到能够实时计算并引导拦阻装置向最佳钩索位置主动调整的移索策略。仿真结果显示，在回收空间受限的情况下，与传统被动式拦阻回收方法相比，使用主动捕捉拦阻方法钩索成功率提高了29%。该方法有效提高了无人机着陆回收的安全性和可靠性，为智能化回收技术的发展提供了新的理论支持和实践方案。
王一峰 , 彭一明 , 李龙 , 魏小辉 , 聂宏 . 基于DQN的无人机主动捕捉拦阻回收方法[J]. 航空学报, 2025 , 46(12) : 231448 -231448 . DOI: 10.7527/S1000-6893.2024.31448
The success rate of hooking the cable is one of the key indicators of safety and reliability when recovering a UAV using arresting cables. To address the challenge of improving the success rate with restricted UAV recovery areas provided by vehicle-mounted mobile platform， this paper proposes an active cable engagement method for UAV arresting and recovery. The method enhances the success rate by having the arresting system actively move to the optimal cable engagement position under the guidance of AI computation results. First， a UAV landing and recovery dynamics model is established to calculate the cable engagement failure boundary. The Support Vector Machine （SVM） method is applied to identify the dynamics simulation results and generate a proxy model for UAV cable engagement analysis. Then， the cable-moving process is simplified into a Markov decision process. Using the cable-moving device model as the training environment， a six-degree-of-freedom UAV landing and descent model is employed to generate the dataset， and the cable engagement analysis proxy model is used as the reward function. A Deep Q-Network （DQN） is applied to train a cable-moving strategy that dynamically computes and guides the arresting system to adjust to the optimal engagement position in real time. Simulation results show that with limited recovery space， the proposed method improves the success rate by 29% compared to the traditional passive recovery method. This approach significantly enhances the safety and reliability of UAV landing and recovery， providing new theoretical support and practical solutions for the development of intelligent recovery technology.
| [1] | 黄定超， 樊兴， 郭铭. 舰载无人机系统技术研究［J］. 舰船电子工程， 2008， 28（5）： 32-36. |
| HUANG D C， FAN X， GUO M. Research on shipborne UAV system technology［J］. Ship Electronic Engineering， 2008， 28（5）： 32-36 （in Chinese）. | |
| [2] | MIRZAEE KAHAGH A， PAZOOKI F， ETEMADI HAGHIGHI S， et al. Real-time formation control and obstacle avoidance algorithm for fixed-wing UAVs?［J］. The Aeronautical Journal， 2022， 126（1306）： 2111-2133. |
| [3] | 鲁亚飞， 陈清阳， 郭正. Aerosonde全地形固定翼无人机发展与技术特点［J］. 国防科技， 2023， 44（6）： 51-58. |
| LU Y F， CHEN Q Y， GUO Z. Development and characteristics of aerosonde all-terrain fixed-wing unmanned aerial vehicle［J］. National Defense Technology， 2023， 44（6）： 51-58 （in Chinese）. | |
| [4] | SU Z K， XING Z L， LI X B， et al. Constrained docking control for shipborne UAV SideArm recovery［J］. Chinese Journal of Aeronautics， 2024， 37（5）： 39-59. |
| [5] | KIM H J， KIM M， LIM H， et al. Fully autonomous vision-based net-recovery landing system for a fixed-wing UAV?［J］. IEEE/ASME Transactions on Mechatronics， 2013， 18（4）： 1320-1333. |
| [6] | 胡琦， 陶彦瑾， 韩世东， 等. 高速无人飞行器伞吊点隔框拓扑优化设计［J］. 机械制造与自动化， 2023， 52（4）： 221-224. |
| HU Q， TAO Y J， HAN S D， et al. Topology optimization design of hanging point bulkhead for parachute of high-speed UAV［J］. Machine Building & Automation， 2023， 52（4）： 221-224 （in Chinese）. | |
| [7] | SHAO H Y， KAN Z， WANG Y F， et al. Dynamic analysis and numerical simulation of arresting hook engaging cable in carried-based UAV landing process［J］. Drones， 2023， 7（8）： 530. |
| [8] | 柳刚， 聂宏. 飞机拦阻钩碰撞动力学和拦阻钩纵向阻尼器性能［J］. 航空学报， 2009， 30（11）： 2093-2099. |
| LIU G， NIE H. Dynamics of bounce of aircraft arresting hook impacting with deck and performance of arresting hook longitudinal damper［J］. Acta Aeronautica et Astronautica Sinica， 2009， 30（11）： 2093-2099 （in Chinese）. | |
| [9] | 陆沛文， 魏小辉， 彭一明， 等. 某舰载机偏滚着舰挂索特性研究［J］. 航空计算技术， 2018， 48（3）： 78-81. |
| LU P W， WEI X H， PENG Y M， et al. Research on rolling characteristics of a carrier-based aircraft［J］. Aeronautical Computing Technique， 2018， 48?（3）： 78-81 （in Chinese）. | |
| [10] | 黄祥， 赵利霞， 李伟， 等. 飞机拦阻钩系统动力学分析与仿真［J］. 飞机设计， 2020， 40（2）： 41-44. |
| HUANG X， ZHAO L X， LI W， et al. Dynamic analysis and simulation of aircraft arresting hook system［J］. Aircraft Design， 2020， 40（2）： 41-44 （in Chinese）. | |
| [11] | 谢朋朋， 彭一明， 魏小辉， 等. 计及弯折波的舰载飞机偏心拦阻动力学分析［J］. 北京航空航天大学学报， 2020， 46（8）： 1582-1591. |
| XIE P P， PENG Y M， WEI X H， et al. Dynamic analysis of off-center arrest for carrier-based aircraft considering kink-wave［J］. Journal of Beijing University of Aeronautics and Astronautics， 2020， 46（8）： 1582-1591 （in Chinese）. | |
| [12] | ZHANG Z， PENG Y M， WEI X H， et al. Research on longitudinal dynamics safety boundary of carrier-based aircraft arresting?［J］. Aerospace Science and Technology， 2022， 130： 107864. |
| [13] | 廖馨宇. 基于移动平台的无人机捕捉拦阻系统设计与分析［D］. 南京： 南京航空航天大学， 2021. |
| LIAO X Y. Design and analysis of arresting system based on mobile platform for UAV capture［D］. Nanjing： Nanjing University of Aeronautics and Astronautics， 2021 （in Chinese）. | |
| [14] | 王慧， 喻天翔， 庞欢， 等. 基于多体仿真模型的某锁机构可靠性仿真分析［C］∥2012年LMS中国用户大会. 2012： 1-4. |
| WANG H， YU T X， PANG H， et al. Reliability simulation analysis of a lock mechanism based on multi-body simulation model［C］∥Proceedings of LMS China User Conference 2012. 2012： 1-4 （in Chinese）. | |
| [15] | 彭一明， 印寅， 魏小辉， 等. 舰载飞机着舰挂索成功率计算方法研究［J］. 机械工程学报， 2022， 58（15）： 216-225. |
| PENG Y M， YIN Y， WEI X H， et al. Research on the calculation method of the success rate of carrier-based aircraft landing and hooking cable［J］. Journal of Mechanical Engineering， 2022， 58（15）： 216-225 （in Chinese）. | |
| [16] | 李道春， 姚卓尔， 邵浩原. 一种舰载机着舰过程拦阻钩弹跳与钩索啮合分析方法： CN113536625B［Z］. 2023-05-30. |
| LI D C， YAO Z E， SHAO H Y. A method for analyzing the engagement of the interceptor hook bouncing and the hook and cable during the landing process of a shipboard aircraft： CN113536625B ［Z］. 2023-05-30 （in Chinese）. | |
| [17] | MNIH V， KAVUKCUOGLU K， SILVER D， et al. Playing atari with deep reinforcement learning［J］. ArXiv e-Prints， 2013： arXiv： . |
| [18] | VAN HASSELT H， GUEZ A， SILVER D. Deep reinforcement learning with double Q-learning［C］∥Proceedings of the AAAI Conference on Artificial Intelligence， 2016. |
| [19] | WANG Z Y， SCHAUL T， HESSEL M， et al. Dueling network architectures for deep reinforcement learning［C］?∥International Conference on Machine Learning. 2021. |
| [20] | SCHAUL T， QUAN J， ANTONOGLOU I， et al. Prioritized experience replay［EB/OL］. arXiv： ， 2015. |
| [21] | ZHANG F Y， LEITNER J， MILFORD M， et al. Towards vision-based deep reinforcement learning for robotic motion control［EB/OL］. arXiv： ， 2015. |
| [22] | NGUYEN H， THUDUMU S， DU H， et al. UAV dynamic object tracking with lightweight deep vision reinforcement learning［J］. Algorithms， 2023， 16（5）： 227. |
| [23] | BEARD R W， MCLAIN T W. Small unmanned aircraft： Theory and practice［M］. New Jersey： Princeton University Press， 2012. |
/
| 〈 |
|
〉 |
CJA