基于双目视觉的无人机自主空中对接系统设计

doi:10.7527/S1000-6893.2023.28884

专栏

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于双目视觉的无人机自主空中对接系统设计

付一方¹, 胡欣悦¹, 黄与陆¹, 王斑¹(), 黄江涛²

^1.西北工业大学航空学院，西安 710072
^2.中国空气动力研究与发展中心，绵阳 621000

收稿日期:2023-04-18 修回日期:2023-05-22 接受日期:2023-06-27 出版日期:2023-10-25 发布日期:2023-06-27
通讯作者: 王斑 E-mail:wangban@nwpu.edu.cn
基金资助:
国家自然科学基金(62003266);教育部中国高校产学研创新基金(2021ZYA07002)

A binocular vision⁃based autonomous aerial docking system design for UAVs

Yifang FU¹, Xinyue HU¹, Yulu HUANG¹, Ban WANG¹(), Jiangtao HUANG²

^1.School of Aeronautics，Northwestern Polytechnical University，Xi’an 710072，China
^2.China Aerodynamics Research and Development Center，Mianyang 621000，China

Received:2023-04-18 Revised:2023-05-22 Accepted:2023-06-27 Online:2023-10-25 Published:2023-06-27
Contact: Ban WANG E-mail:wangban@nwpu.edu.cn
Supported by:
National Natural Science Foundation of China(62003266);Industry-University-Research Innovation Foundation for the Chinese Ministry of Education(2021ZYA07002)

摘要/Abstract

摘要：

针对自主空中加油中对精度、效率和安全性要求最高的自主空中对接任务，设计了一个基于双目视觉的无人机自主空中对接系统。首先，搭建基于双目视觉和YOLOv4-Tiny网络模型的目标检测与定位模块，对不同环境下获取的锥套图像数据集进行了数据增强处理，对模块的测试结果表明其可在各种复杂环境下完成锥套识别定位，且可以将深度估计误差保持在2%以内；随后，为使对接过程中的无人机控制器能够在外界强扰动环境下兼顾控制精度和鲁棒性，在四旋翼无人机测试平台上进行了无人机动力学建模和基于干扰观测器的主动抗扰控制律设计，并对控制律设计的有效性进行仿真验证；最后，在四旋翼无人机平台上开展自主空中对接飞行实验验证，实验结果表明，设计的系统结构合理，在外界强风干扰下能够保持对接过程姿态稳定，且可以进行准确的锥套识别与定位，顺利、高效地完成无人机自主空中对接任务。

关键词: 自主空中加油, 双目视觉, 自主空中对接系统, 干扰观测器, 主动抗扰控制

Abstract:

In this paper， a binocular vision-based Unmanned Aerial Vehicle （UAV） autonomous aerial docking system is designed for the docking segment in autonomous aerial refueling mission， which requires high accuracy， efficiency and security. Firstly， a target detection module based on binocular vision and YOLOv4-Tiny network is proposed for target detection and position estimation， and data enhancement is performed on the drogue image dataset taken under various environments. Test results of the module indicate that it can perform drogue detection and positioning in multiple intricate circumstances， maintaining the depth estimation error within 2%. After that， to satisfy the control accuracy and robustness requirements of UAV controller during the docking process in the presence of strong external environment disturbance， dynamics-modelling and disturbance-observer based active anti-disturbance control law design is carried out on a quadcopter testing platform， and the designed control law has also been verified by simulation tests. Finally， flight experiments of autonomous aerial docking are conducted on the quadcopter testing platform. Experiments results show that the autonomous aerial docking system has a properly designed structure， which can maintain attitude stability under strong external wind disturbance， perform accurate drogue detection and positioning， and complete the docking mission successfully and efficiently.

Key words: automated aerial refueling, binocular vision, autonomous aerial docking system, disturbance observer, active anti-disturbance control

中图分类号:

V249

付一方, 胡欣悦, 黄与陆, 王斑, 黄江涛. 基于双目视觉的无人机自主空中对接系统设计[J]. 航空学报, 2023, 44(20): 628884-628884.

Yifang FU, Xinyue HU, Yulu HUANG, Ban WANG, Jiangtao HUANG. A binocular vision⁃based autonomous aerial docking system design for UAVs[J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(20): 628884-628884.

图/表 34

图 1

图 2

图 3

表 1

图 4

表 2

图 5

表 3

图 6

图 7

表 4

图 8

表 5

图 9

表 6

图 10

图 11

图 12

图 13

表 7

图 14

图 15

表 8

图 16

图 17

表 9

图 18

图 19

图 20

图 21

图 22

图 23

图 24

图 25

参考文献 30

1	陆宇平，杨朝星，刘洋洋. 空中加油系统的建模与控制技术综述［J］. 航空学报， 2014， 35（9）： 2375-2389.
	LU Y P， YANG C X， LIU Y Y. A survey of modeling and control technologies for aerial refueling system［J］. Acta Aeronautica et Astronautica Sinica， 2014， 35（9）： 2375-2389 （in Chinese）.
2	苏子康，徐忠楠，李春涛，等. 伸缩套臂式无人机空基回收建模与对接控制［J］. 航空学报， 2023， 44（1）： 326315.
	SU Z K， XU Z N， LI C T， et al. Modeling and docking control of UAV aerial recovery in form of telescopic boom［J］. Acta Aeronautics et Astronautica Sinica， 2023， 44（1）： 326315 （in Chinese）.
3	GAO Y， YANG S B， LIU X L. Drogue position measurement of autonomous aerial refueling based on embedded system［J］. Sensors and Actuators A： Physical， 2023， 353： 114251.
4	LEE A， DALLMANN W， NYKL S， et al. Long-range pose estimation for aerial refueling approaches using deep neural networks［J］. Journal of Aerospace Information Systems， 2020， 17（11）： 634-646.
5	全权，魏子博，高俊，等. 软管式自主空中加油对接阶段中的建模与控制综述［J］. 航空学报， 2014， 35（9）： 2390-2410.
	QUAN Q， WEI Z B， GAO J， et al. A survey on modeling and control problems for probe and drogue autonomous aerial refueling at docking stage［J］. Acta Aeronautica et Astronautica Sinica， 2014， 35（9）： 2390-2410 （in Chinese）.
6	WANG X F， LI J M， KONG X W， et al. Towards docking safety analysis for unmanned aerial vehicle probe-drogue autonomous aerial refueling based on docking success-probability and docking reachability［J］. Proceedings of the Institution of Mechanical Engineers， Part G： Journal of Aerospace Engineering， 2019， 233（11）： 3893-3905.
7	SHANKAR A， ELBAUM S， DETWEILER C. Dynamic path generation for multirotor aerial docking in forward flight［C］∥ 2020 59th IEEE Conference on Decision and Control （CDC）. Piscataway： IEEE Press， 2021： 1564-1571.
8	THOMAS P R， BHANDARI U， BULLOCK S， et al. Advances in air to air refuelling［J］. Progress in Aerospace Sciences， 2014， 71： 14-35.
9	ZHAO K D， SUN Y R， LI H， et al. A novel drogue pose estimation method for autonomous aerial refueling based on monocular vision sensor［J］. IEEE Sensors Journal， 2022， 22（23）： 23064-23076.
10	SHI B W， LIU Z， ZHANG G J. Vision sensor for measuring aerial refueling drogue using robust method［J］. IEEE Sensors Journal， 2021， 21（24）： 28037-28049.
11	CHOI A J， YANG H H， HAN J H. Study on robust aerial docking mechanism with deep learning based drogue detection and docking［J］. Mechanical Systems and Signal Processing， 2021， 154： 107579.
12	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection［C］∥ 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2016： 779-788.
13	WANG B， YU X， MU L X， et al. Disturbance observer-based adaptive fault-tolerant control for a quadrotor helicopter subject to parametric uncertainties and external disturbances［J］. Mechanical Systems and Signal Processing， 2019， 120： 727-743.
14	WANG L A， JIANG X Q， WANG D， et al. Research on aerial autonomous docking and landing technology of dual multi-rotor UAV［J］. Sensors， 2022， 22（23）： 9066.
15	LI S， YANG J， CHEN W H， et al. Disturbance observer-based control： methods and applications［M］. Boca Raton： CRC press， 2014： 5-6.
16	OHISHI K， NAKAO M， OHNISHI K， et al. Microprocessor-controlled DC motor for load-insensitive position servo system［J］. IEEE Transactions on Industrial Electronics， 1987， IE-34（1）： 44-49.
17	YU B， KIM S， SUK J. Robust control based on ADRC and DOBC for small-scale helicopter［J］. IFAC-PapersOnLine， 2019， 52（12）： 140-145.
18	CHENG Y， JIANG L， LI T， et al. Robust tracking control for a quadrotor UAV via DOBC approach［C］∥ 2018 Chinese Control and Decision Conference （CCDC）. Piscataway： IEEE Press， 2018： 559-563.
19	WANG B， HUANG P， ZHANG W. A robust fault-tolerant control for quadrotor helicopters against sensor faults and external disturbances［J］. Complexity， 2021， 2021： 1-13.
20	MA Y B， ZHAO R J， LIU E H， et al. A novel autonomous aerial refueling drogue detection and pose estimation method based on monocular vision［J］. Measurement， 2019， 136： 132-142.
21	DENG Y M， XIAN N， DUAN H B. A binocular vision-based measuring system for UAVs autonomous aerial refueling［C］∥ 2016 12th IEEE International Conference on Control and Automation （ICCA）. Piscataway： IEEE Press， 2016： 221-226.
22	DUAN H B， LI H， LUO Q N， et al. A binocular vision-based UAVs autonomous aerial refueling platform［J］. Science China Information Sciences， 2016， 59（5）： 053201.
23	刘爱超，佘浩平，杨钦宁，等. 无人机空中对接中的视觉导航方法［J］. 导航定位与授时， 2019， 6（1）： 28-34.
	LIU A C， SHE H P， YANG Q N， et al. Visual navigation method in drone aerial docking［J］. Navigation Positioning and Timing， 2019， 6（1）： 28-34 （in Chinese）.
24	WU L， SUN Y R， ZHAO K D， et al. A novel vision-based PRPL multistage image processing algorithm for autonomous aerial refueling［J］. Wireless Communications and Mobile Computing， 2021， 2021： 2778857.
25	汪刚志，王新华，陈冠宇，等. 基于视觉的无人机空中加油目标识别技术研究［J］. 电子测量技术， 2020， 43（13）： 89-94.
	WANG G Z， WANG X H， CHEN G Y， et al. Research on target recognition technology for aerial refueling of UAV based on vision［J］. Electronic Measurement Technology， 2020， 43（13）： 89-94 （in Chinese）.
26	张易明，艾剑良. 基于双目视觉的空中加油锥套定位与对接控制［J］. 系统工程与电子技术， 2021， 43（10）： 2940-2953.
	ZHANG Y M， AI J L. Positioning of aerial refueling drogue and docking control based on binocular vision［J］. Systems Engineering and Electronics， 2021， 43（10）： 2940-2953 （in Chinese）.
27	SHARMA V， MIR R N. A comprehensive and systematic look up into deep learning based object detection techniques： a review［J］. Computer Science Review， 2020， 38： 100301.
28	HNEWA M， RADHA H. Object detection under rainy conditions for autonomous vehicles： a review of state-of-the-art and emerging techniques［J］. IEEE Signal Processing Magazine， 2021， 38（1）： 53-67.
29	BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： optimal speed and accuracy of object detection［DB/OL］. arXiv preprint： 2004.10934， 2020.
30	HU X L， LIU Y， ZHAO Z X， et al. Real-time detection of uneaten feed pellets in underwater images for aquaculture using an improved YOLO-V4 network［J］. Computers and Electronics in Agriculture， 2021， 185： 106135.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

参数	数值
相机尺寸/mm	90×25×25
深度分辨率	1 280×720
深度精度	2 m处<2%
深度相机视场	87°×58°
理想检测深度/m	0.3~3
深度帧率/fps	最高90
RGB相机分辨率	1 920×1 080
RGB相机帧率/fps	30
RGB相机视场	69°×42°

参数	数值
GPU	具备48 个Tensor 核心的384 核Volta™ GPU
CPU	6核心NVIDIA Carmel ARM^® v8.2 64位CPU
内存	8 GB 128位元 LPDDR4x
存储空间	16 GB eMMC 5.1

参数名称	含义	数值
input_shape	输入图像大小	416×416
epoch	总训练世代	500
batch_size	每输入batch个样本更新一次	32
optimizer_type	优化器种类	SGD
Init_lr	起始学习率（最大）	0.01
Min_lr	最小学习率	0.01×Init_lr

序号	实际距离/mm	相机测量距离/mm	相对误差/%
1	120.0	122.0	1.64
2	164.0	164.8	0.49
3	181.0	184.2	1.78
4	201.0	204.7	1.84
5	226.0	220.0	1.77

参数	数值
总质量m/kg	1.121
电机中心距离（滚转方向）/m	0.213 6
电机中心距离（俯仰方向）/m	0.175 8
无人机尺寸/m	0.363×0.403×0.139
三轴转动惯量J/ （kg·m²）	diag（0.01， 0.0082， 0.0148）×10^-2
旋翼转动惯量J_RP/ （kg·m²）	1.287×10^-4
电机常参数C_R/（rad·min^-1）/%	15 873
电机常参数ϖ_b/（rad·min^-1）	1 711

基于双目视觉的无人机自主空中对接系统设计

A binocular vision⁃based autonomous aerial docking system design for UAVs

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 34

参考文献 30

相关文章 15

编辑推荐

Metrics

本文评价

参数	数值
起飞重量/g	87
最长飞行时间/min	13
最大水平飞行速度/（km·h^-1）	28.8
相机输入图像尺寸	640×480
电池类型	LiPo
电池容量/（mA·h）	1 100

参数	数值
总重量/kg	1.121
转动惯量/（kg·m²）	［0.01， 0.0082， 0.0148］×10^-2
电池参数	4s 14.8V LiPo （3 700 mA·h）
飞机尺寸/m	0.363×0.403×0.139
机载传感器	2个六自由度IMU（含陀螺仪和加速度计）、1个光流传感器、1个高度传感器

[1]	崔凯鑫, 段广仁. 基于干扰观测器的一类组合航天器高阶全驱抗干扰控制[J]. 航空学报, 2024, 45(1): 628892-628892.
[2]	王忠森, 廖宇新, 魏才盛, 戴婷. 高超声速飞行器快速终端滑模保性能容错控制[J]. 航空学报, 2023, 44(24): 328476-328476.
[3]	杜昕, 朱喆, 胡芳芳, 黄江涛, 刘刚, 章胜, 单恩光, 唐骥罡. 空中无人加油自主对接导航制导与控制[J]. 航空学报, 2023, 44(20): 628827-628827.
[4]	宋梦实, 张帆, 黄攀峰. 位置约束下软式自主空中加油的抗干扰控制[J]. 航空学报, 2023, 44(20): 629114-629114.
[5]	刘博, 孟中杰. 软管连接约束下的加油机/无人机编队跟踪控制[J]. 航空学报, 2023, 44(17): 328210-328210.
[6]	陈浩岚, 王鹏, 汤国建. 变形飞行器输出误差受限与输入饱和控制方法[J]. 航空学报, 2023, 44(15): 528762-528762.
[7]	胡伟, 万文章, 陈谋. 基于神经网络和干扰观测器的UAV自动着舰控制[J]. 航空学报, 2022, 43(S1): 726963-726963.
[8]	赵良玉, 金瑞, 朱叶青, 高凤杰. 基于点线特征融合的双目惯性SLAM算法[J]. 航空学报, 2022, 43(3): 325117-325117.
[9]	郭洪振, 陈谋. 基于预设性能的四旋翼无人机编队安全控制[J]. 航空学报, 2021, 42(8): 525789-525789.
[10]	路遥. 基于跟踪微分器的高超声速飞行器Backstepping控制[J]. 航空学报, 2021, 42(11): 524737-524737.
[11]	刘璟龙, 张崇峰, 邹怀武, 李宁, 吴琳娜. 基于干扰观测器的柔性空间机器人在轨精细操作控制方法[J]. 航空学报, 2021, 42(1): 523899-523899.
[12]	邵书义, 陈谋, 招启军. 基于干扰观测器的四旋翼无人机离散时间容错控制[J]. 航空学报, 2020, 41(S2): 724283-724283.
[13]	李亚苹, 王芳, 周超. 全状态受限的高超声速飞行器的预定性能滤波反步控制[J]. 航空学报, 2020, 41(11): 623857-623857.
[14]	郭建国, 鲁宁波, 周军. 高超声速飞行器有限时间耦合模糊控制[J]. 航空学报, 2020, 41(11): 623838-623838.
[15]	张秀云, 宗群, 窦立谦, 刘文静. 柔性航天器振动主动抑制及姿态控制[J]. 航空学报, 2019, 40(4): 322503-322503.