基于视觉图像的空对空多无人机目标跟踪

doi:10.7527/S1000-6893.2023.29379

弱小目标检测与跟踪专栏

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于视觉图像的空对空多无人机目标跟踪

褚昭晨, 宋韬, 金忍(), 林德福

北京理工大学宇航学院，北京 100081

收稿日期:2023-07-28 修回日期:2023-08-22 接受日期:2023-11-08 出版日期:2024-07-25 发布日期:2023-12-07
通讯作者: 金忍 E-mail:renjin@bit.edu.cn
基金资助:
国家自然科学基金(62206020);山东省重大科技创新工程项目(2019SDZY05)

Vision-based air-to-air multi-UAVs tracking

Zhaochen CHU, Tao SONG, Ren JIN(), Defu LIN

School of Aerospace Engineering，Beijing Institute of Technology，Beijing 100081，China

Received:2023-07-28 Revised:2023-08-22 Accepted:2023-11-08 Online:2024-07-25 Published:2023-12-07
Contact: Ren JIN E-mail:renjin@bit.edu.cn
Supported by:
National Natural Science Foundation of China(62206020);Major Science and Technology Innovation Project of Shandong Province(2019SDZY05)

摘要/Abstract

摘要：

基于视觉的空对空多目标跟踪技术是对无人机目标态势感知的关键技术，目前的研究局限于单目标无人机跟踪和通用多目标跟踪算法的迁移运用。针对空对空条件下现有算法对多无人机目标跟踪不准确的问题，提出一种基于分块增强特征提取与局部几何信息关联的级联多目标跟踪算法，将无人机图像按照机身和机臂特点分块处理，提取目标细粒度形态特征，利用连续时间内目标间相对几何关系变化微小的特性，构建局部区域目标相对几何关系向量，综合上述技术组件设计级联关联算法，提高所提出的算法对无人机目标的检索能力和关联成功率，从而提高算法的跟踪性能。实验表明，在测试集中，所提出的算法相比于目前最先进的多目标跟踪算法OC-SORT算法，身份编号F1值（ID F1 Score， IDF1）提升了5.6%，相比于在通用多目标跟踪领域较优的ByteTrack算法，多目标跟踪准确率（Multiple Object Tracking Accuracy， MOTA）提升了2.7%，实现了对多无人机目标跟踪的最优性能。同时，所提出的算法中用到的技术可应用于SORT、BYTE等数据关联算法中，从而可提高这些关联算法的性能。

关键词: 无人机, 多目标跟踪, 深度学习, 特征提取, 数据关联

Abstract:

Vision-based air-to-air multi-object tracking is a key technology for UAV situational awareness. Recent research is limited to single-UAV tracking and migration of general multi-object tracking algorithms. To address the problem of inaccurate air-to-air multi-UAVs tracking， a cascade multi-UAVs tracking algorithm based on block feature enhancement extraction and local geometric association is designed. The UAV image is processed in blocks according to the characteristics of the fuselage and the arm， and the UAV’s fine-grained morphological features are extracted. The property that the relative geometric relationship between the UAVs is virtually invariant in the continuous frames is also utilized to extract the local geometric vectors of the UAVs. Then， the cascade association algorithm is designed by synthesizing the above technical components to improve the multi-object tracking algorithm’s ability to retrieve UAV objects and the association success rate， so as to improve the tracking performance of the proposed algorithm. Experiments show that in the test set， the proposed algorithm improves ID F1 Score （IDF1） by 5.6% compared to the state-of-the-art multi-object tracking algorithms OC-SORT， and improves Multiple Object Tracking Accuracy （MOTA） by 2.7% compared to the ByteTrack， which also performs well in the general multi-object tracking. The optimal performance for air-to-air multi-UAVs tracking can be realized， and the components used by the proposed algorithm can also be applied to SORT， BYTE and other data association algorithms to jointly improve their performance.

Key words: Unmanned Aerial Vehicle (UAV), multi-object tracking, deep learning, feature extraction, data association

中图分类号:

V279

褚昭晨, 宋韬, 金忍, 林德福. 基于视觉图像的空对空多无人机目标跟踪[J]. 航空学报, 2024, 45(14): 629379-629379.

Zhaochen CHU, Tao SONG, Ren JIN, Defu LIN. Vision-based air-to-air multi-UAVs tracking[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(14): 629379-629379.

图/表 17

图 1

图 2

图 3

图 4

图 5

图 6

图 7

表 1

表 2

表 3

不同沿宽度方向拆分比例的特征提取组件在不同数据集的性能表现

特征提取组件	mAP/%
特征提取组件	MOT-FLY	DUT Anti-UAV Tracking
ResNet50-BE（ $p = 1 ∶ 6 ∶ 1$ ）	64.9	61.9
ResNet50-BE（ $p = 1 ∶ 2 ∶ 1$ ）	69.6	66.8
ResNet50-BE（ $p = 3 ∶ 2 ∶ 3$ ）	68.4	64.0

表 3

表 4

表 5

表 6

图 8

图 9

表 7

表 8

参考文献 39

1	陈琳，刘允刚. 面向无人机的视觉目标跟踪算法：综述与展望［J］. 信息与控制， 2022， 51（1）： 23-40.
	CHEN L， LIU Y G. UAV visual target tracking algorithms： Review and future prospect［J］. Information and Control， 2022， 51（1）： 23-40 （in Chinese）.
2	闫超，涂良辉，王聿豪，等. 无人机在我国民用领域应用综述［J］. 飞行力学， 2022， 40（3）： 1-6.
	YAN C， TU L H， WANG Y H， et al. Application of unmanned aerial vehicle in civil field in China［J］. Flight Dynamics， 2022， 40（3）： 1-6 （in Chinese）.
3	李仕帆. 无人机在消防灭火救援工作中的运用实践探讨［J］. 中国设备工程， 2023（8）： 8-10.
	LI S F. Practical discussion on the utilization of UAVs in fire fighting and rescue work［J］. China Plant Engineering， 2023（8）： 8-10 （in Chinese）.
4	李浩，孙合敏，李宏权，等. 无人机集群蜂群作战综述及其预警探测应对策略［J］. 飞航导弹， 2018（11）： 46-51.
	LI H， SUN H M， LI H Q， et al. Overview of UAV cluster swarm combat and its early warning detection response strategy［J］. Aerodynamic Missile Journal， 2018（11）： 46-51 （in Chinese）.
5	刘雷，刘大卫，王晓光，等. 无人机集群与反无人机集群发展现状及展望［J］. 航空学报， 2022， 43（S1）： 726908.
	LIU L， LIU D W， WANG X G，et al. Development status and outlook of UAV clusters and anti-UAV clusters［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（S1）： 726908 （in Chinese）.
6	WANG C Y， SU Y， WANG J J， et al. UAVSwarm dataset： An unmanned aerial vehicle swarm dataset for multiple object tracking［J］. Remote Sensing， 2022， 14（11）： 2601.
7	张洲宇，曹云峰，范彦铭. 低空小型无人机空域冲突视觉感知技术研究进展［J］. 航空学报， 2022， 43（8）： 025645.
	ZHANG Z Y， CAO Y F， FAN Y M. Research progress of vision based aerospace conflict sensing technologies for small unmanned aerial vehicle in low altitude［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（8）： 025645 （in Chinese）.
8	薛远亮，金国栋，谭力宁，等. 基于多尺度融合的自适应无人机目标跟踪算法［J］. 航空学报， 2023， 44（1）： 326107.
	XUE Y L， JIN G D， TAN L N， et al. Adaptive UAV target tracking algorithm based on multi-scale fusion［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（1）： 326107 （in Chinese）.
9	刘芳，孙亚楠. 基于自适应融合网络的无人机目标跟踪算法［J］. 航空学报， 2022， 43（7）： 325522.
	LIU F， SUN Y N. UAV target tracking algorithm based on adaptive fusion network［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（7）： 325522 （in Chinese）.
10	刘贞报，马博迪，高红岗，等. 基于形态自适应网络的无人机目标跟踪方法［J］. 航空学报， 2021， 42（4）： 524904.
	LIU Z B， MA B D， GAO H G， et al. Adaptive morphological network based UAV target tracking algorithm［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（4）： 524904 （in Chinese）.
11	DU Y H， WAN J F， ZHAO Y Y， et al. GIAOTracker： A comprehensive framework for MCMOT with global information and optimizing strategies in VisDrone 2021［C］∥2021 IEEE/CVF International Conference on Computer Vision Workshops. Piscataway： IEEE Press， 2021： 2809-2819.
12	SHEN H Y， HUANG Z Y， WANG H C， et al. Adaptive update of UAV multi-target tracking based on Transformer［C］∥2023 IEEE 6th Information Technology， Networking， Electronic and Automation Control Conference. Piscataway： IEEE Press， 2023： 6-13.
13	WANG G A， GU R S， LIU Z Z， et al. Track without appearance： Learn box and tracklet embedding with local and global motion patterns for vehicle tracking［C］∥2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE Press， 2021： 9856-9866.
14	WU H， NIE J H， HE Z W， et al. One-shot multiple object tracking in UAV videos using task-specific fine-grained features［J］. Remote Sensing， 2022， 14（16）： 3853.
15	罗茜，赵睿，庄慧珊，等. YOLOv5与Deep-SORT联合优化的无人机多目标跟踪算法［J］. 信号处理， 2022， 38（12）： 2628-2638.
	LUO X， ZHAO R， ZHUANG H S， et al. UAV multi-target tracking algorithm jointly optimized by YOLOv5 and Deep-SORT［J］. Journal of Signal Processing， 2022， 38（12）： 2628-2638 （in Chinese）.
16	刘芳，浦昭辉，张帅超. 基于注意力特征融合的无人机多目标跟踪算法［J］. 控制与决策， 2023， 38（2）： 345-353.
	LIU F， PU Z H， ZHANG S C. UAV multi-target tracking algorithm based on attention feature fusion［J］. Control and Decision， 2023， 38（2）： 345-353 （in Chinese）.
17	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］∥Proceedings of the 31st International Conference on Neural Information Processing Systems. New York： ACM， 2017： 6000-6010.
18	ZHANG Y F， WANG C Y， WANG X G， et al. FairMOT： On the fairness of detection and re-identification in multiple object tracking［J］. International Journal of Computer Vision， 2021， 129（11）： 3069-3087.
19	ZHAO J， ZHANG J S， LI D D， et al. Vision-based anti-UAV detection and tracking［J］. IEEE Transactions on Intelligent Transportation Systems， 2022， 23（12）： 25323-25334.
20	CAO Z A， HUANG Z Y， PAN L， et al. TCTrack： Temporal contexts for aerial tracking［C］∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2022： 14778-14788.
21	LI Y M， FU C H， DING F Q， et al. AutoTrack： Towards high-performance visual tracking for UAV with automatic spatio-temporal regularization［C］∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2020： 11920-11929.
22	JIANG X L， LI P Z， LI Y J， et al. Graph neural based end-to-end data association framework for online multiple-object tracking［DB/OL］. arXiv preprint： 1907.05315， 2019.
23	ZHANG Y F， SUN P Z， JIANG Y， et al. ByteTrack： Multi-object tracking by associating every detection box［C］∥European Conference on Computer Vision. Cham： Springer， 2022： 1-21.
24	LUO W H， XING J L， MILAN A， et al. Multiple object tracking： A literature review［J］. Artificial Intelligence， 2021， 293： 103448.
25	WOJKE N， BEWLEY A， PAULUS D. Simple online and realtime tracking with a deep association metric［C］∥2017 IEEE International Conference on Image Processing. Piscataway： IEEE Press， 2017： 3645-3649.
26	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16x16 words： Transformers for image recognition at scale［DB/OL］. arXiv preprint： 2010.11929， 2020.
27	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
28	BERGMANN P， MEINHARDT T， LEAL-TAIXÉ L. Tracking without bells and whistles［C］∥2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE Press， 2019： 941-951.
29	BEWLEY A， GE Z Y， OTT L， et al. Simple online and realtime tracking［C］∥2016 IEEE International Conference on Image Processing. Piscataway： IEEE Press， 2016： 3464-3468.
30	CAO J K， PANG J M， WENG X S， et al. Observation-centric SORT： Rethinking SORT for robust multi-object tracking［C］∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2023： 9686-9696.
31	ZHOU X Y， KOLTUN V， KRÄHENBÜHL P. Tracking objects as points［C］∥European Conference on Computer Vision. Cham： Springer， 2020： 474-490.
32	PENG J L， WANG C G， WAN F B， et al. Chained-tracker： Chaining paired attentive regression results for end-to-end joint multiple-object detection and tracking［C］∥European Conference on Computer Vision. Cham： Springer， 2020： 145-161.
33	GE Z， LIU S T， WANG F， et al. YOLOX： Exceeding YOLO series in 2021［DB/OL］. arXiv preprint： 2107.08430， 2021.
34	BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： Optimal speed and accuracy of object detection［DB/OL］. arXiv preprint： 2004.10934， 2020.
35	ZHANG H Y， CISSE M， DAUPHIN Y N， et al. Mixup： Beyond empirical risk minimization［DB/OL］. arXiv preprint： 1710.09412， 2017.
36	GE Z， LIU S T， LI Z M， et al. OTA： Optimal transport assignment for object detection［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2021： 303-312.
37	WANG C Y， MARK LIAO H Y， WU Y H， et al. CSPNet： A new backbone that can enhance learning capability of CNN［C］∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE Press， 2020： 1571-1580.
38	LIU S， QI L， QIN H F， et al. Path aggregation network for instance segmentation［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 8759-8768.
39	REZATOFIGHI H， TSOI N， GWAK J Y， et al. Generalized intersection over union： A metric and a loss for bounding box regression［C］∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2019： 658-666.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

特征提取组件	mAP/%
特征提取组件	MOT-FLY	DUT Anti-UAV Tracking
ResNet18	62.0	53.0
ResNet34	65.4	56.8
ResNet50	68.8	60.3
ResNet18-BE	62.7	58.9
ResNet34-BE	67.0	65.7
ResNet50-BE	69.6	66.8

关联算法	IDs	IDF1/%	MOTA/%
DeepSORT-ResNet18	534	43.0	42.0
DeepSORT-ResNet34	515	43.5	42.3
DeepSORT-ResNet50	499	44.1	42.5
DeepSORT-BEFE	329	48.3	44.0
Tracktor-ResNet18	114	41.1	32.9
Tracktor-ResNet34	111	41.3	33.4
Tracktor-ResNet50	106	41.0	33.9
Tracktor-BEFE	81	41.4	35.9

关联算法	局部区域半径/pixel	IDs	IDF1/%	MOTA/%
Byte-LGA	100	85	58.5	48.3
Byte-LGA	200	79	58.7	48.5
Byte-LGA	500	75	59.1	48.5
Byte-LGA	1 000	85	58.6	48.4
Byte-LGA	2 000	87	58.3	48.3

关联算法	检测组件	IDs	IDF1/%	MOTA/%
SORT	FRCNN	554	33.1	42.0
DeepSORT	FRCNN	499	44.1	42.5
Byte	FRCNN	115	58.3	48.0
SORT+LGA	FRCNN	263	37.7	44.6
DeepSORT+LGA	FRCNN	143	46.7	45.6
Byte+LGA	FRCNN	75	59.1	48.5

算法	检测组件	BEFE	LGA	IDs	IDF1/%	MOTA/%
Baseline	FRCNN			115	58.3	48.0
Baseline+BEFE	FRCNN	√		75	58.9	48.6
Baseline+BELGCA	FRCNN	√	√	57	59.0	48.9

基于视觉图像的空对空多无人机目标跟踪

Vision-based air-to-air multi-UAVs tracking

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 17

参考文献 39

相关文章 15

编辑推荐

Metrics

本文评价

算法	IDs	IDF1/%	MOTA/%	FPS
CenterTrack	48	38.2	36.6	39.2
CTracker	153	36.3	34.7	12.1
FairMOT	53	39.8	38.5	46.0
DeepSORT	708	41.0	43.0	44.4
ByteTrack	85	56.7	49.0	53.1
OC-SORT	58	53.0	50.2	53.5
BELGTracker	57	58.6	51.7	46.9

算法	FPS
BELGTracker-ResNet18-BE	28.0
BELGTracker-ResNet34-BE	27.2
BELGTracker-ResNet50-BE	24.5

[1]	王海峰, 刘坤澎, 江泓鑫, 杜晨曦. 螺旋桨多设计点气动优化方法和变桨距角策略[J]. 航空学报, 2024, 45(9): 528831-528831.
[2]	柳家齐, 陈荣钱, 楼锦华, 韩旭, 吴昊, 尤延铖. 基于深度学习的高速直升机旋翼翼型气动优化设计[J]. 航空学报, 2024, 45(9): 529828-529828.
[3]	赵春晖, 刘安萌, 吕洋, 潘泉. 无人机韧性自主定位技术综述[J]. 航空学报, 2024, 45(8): 28839-028839.
[4]	张薇, 何若俊. 面向物联网数据收集的无人机自主路径规划[J]. 航空学报, 2024, 45(8): 329054-329054-1.
[5]	王传云, 苏阳, 王琳霖, 王田, 王静静, 高骞. 面向反制无人机集群的多目标连续鲁棒跟踪算法[J]. 航空学报, 2024, 45(7): 329017-329017.
[6]	赵靖, 宋丹. 无人机GNSS/IMU组合导航系统完好性监测方法[J]. 航空学报, 2024, 45(7): 328943-328943.
[7]	尹洪玉, 吴宇, 梁天骄. 固定翼无人机巡逻覆盖协同路径规划方法[J]. 航空学报, 2024, 45(6): 328944-328944.
[8]	罗旭东, 吴一全, 陈金林. 无人机航拍影像目标检测与语义分割的深度学习方法研究进展[J]. 航空学报, 2024, 45(6): 28822-028822.
[9]	安朝, 霍贵玺, 孟杨, 谢长川, 杨超. 翼尖铰接组合式无人机气动建模方法及布局参数影响[J]. 航空学报, 2024, 45(6): 629587-629587.
[10]	李广佳, 王红波, 张凯, 仪志胜. 临近空间太阳能无人机增升减阻技术综述[J]. 航空学报, 2024, 45(5): 529644-529644.
[11]	蔡云鹏, 周大鹏, 丁江川. 具有防撞安全约束的无人机集群智能协同控制[J]. 航空学报, 2024, 45(5): 529683-529683.
[12]	王祝, 张梦通, 张振鹏, 徐广通. 基于多指标动态优先级的无人机协同路径规划[J]. 航空学报, 2024, 45(4): 328816-328816.
[13]	郑高杰, 何小明, 李东坡, 谭慧俊, 汪昆, 吴祯龙, 王德鹏. 尾部推进无人机双90°偏折进气道/蜗壳耦合流动特性[J]. 航空学报, 2024, 45(4): 128782-128782.
[14]	刘海桥, 刘萌, 龚子超, 董晶. 基于深度学习的图像匹配方法综述[J]. 航空学报, 2024, 45(3): 28796-028796.
[15]	于傲泽, 魏维伟, 王平, 张金强, 柯文雄. 基于分块复合注意力的无人机小目标检测算法[J]. 航空学报, 2024, 45(14): 629148-629148.