基于孪生网络的轻量型无人机单目标跟踪算法

doi:10.7527/S1000-6893.2024.30925

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于孪生网络的轻量型无人机单目标跟踪算法

丁奇帅¹^,²^,³, 雷帮军⁴(), 吴正平¹^,²^,³

^1.水电工程智能视觉监测湖北省重点实验室，宜昌? 443002
^2.三峡大学计算机与信息学院，宜昌 443002
^3.三峡大学水电工程视觉监测宜昌市重点实验室，宜昌 443002
^4.湖北经济学院数字金融创新湖北省重点实验室，武汉 430205

收稿日期:2024-07-09 修回日期:2024-07-24 接受日期:2024-08-21 出版日期:2024-09-03 发布日期:2024-09-02
通讯作者: 雷帮军 E-mail:bangjun.lei@ieee.org
基金资助:
国家自然科学基金(61871258);宜昌市科技研究与开发项目(A201130225)

A lightweight single object tracking algorithm for UAVs based on Siamese network

Qishuai DING¹^,²^,³, Bangjun LEI⁴(), Zhengping WU¹^,²^,³

^1.Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering，Yichang 443002，China
^2.College of Computer and Information Technology，China Three Gorges University，Yichang 443002，China
^3.Yichang Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering，China Three Gorges University，Yichang 443002，China
^4.Hubei Key Laboratory of Digital Finance Innovation，Hubei University of Economics，Wuhan 430205，China

Received:2024-07-09 Revised:2024-07-24 Accepted:2024-08-21 Online:2024-09-03 Published:2024-09-02
Contact: Bangjun LEI E-mail:bangjun.lei@ieee.org
Supported by:
National Natural Science Foundation of China(61871258);Yichang City Science and Technology Research and Development Program(A201130225)

摘要/Abstract

摘要：

当前，一些单目标跟踪算法已经取得了领先的性能，但庞大的模型限制了其在无人机这样资源有限平台上的应用。为此，设计了一种基于孪生网络的轻量型无人机单目标跟踪算法，旨在消耗更少资源情况下实现对目标的高效跟踪。首先，基于MobileNetV3设计了轻量化的孪生特征提取骨干网络，在保证不降低特征提取能力的前提下，极大减少网络的计算量和参数量。其次，设计了双重互相关模块，该模块采用像素互相关快速实现模板图像特征和搜索图像特征的相似性计算，同时结合深度互相关补充缺失特征，有效提升特征匹配的精度和鲁棒性。然后，通过堆叠多个深度可分离卷积层设计了轻量化的预测头部，以最小化的资源消耗来获得准确的目标表达。最后，在传统的分类和回归损失基础上，引入分类排名损失，增强网络对目标前景的学习能力，抑制背景干扰，进一步提升跟踪性能。综合实验表明：算法以5.3×10⁵的参数量和1.1×10⁸的浮点数运算量，在无人机视频目标跟踪数据集DTB70、UAV123和UAV20L上分别取得82.1%、81.2%和64.6%的准确率以及63.4、61.8%和49.6%的成功率，达到同类跟踪算法的性能且参数量和计算量大幅降低，并能以100 fps以上的速度运行，满足无人机目标跟踪的实时性需求。

关键词: 无人机, 孪生网络, 单目标跟踪, 轻量化, 互相关

Abstract:

Currently， some single object tracking algorithms have achieved leading performance， but their large models limit their application on resource-constrained platforms such as Unmanned Aerial Vehicles （UAVs）. This paper designs a lightweight single object tracking algorithm for UAVs based on the Siamese network to achieve efficient tracking with less resource consumption. Firstly， a lightweight backbone network for Siamese feature extraction is designed based on MobileNetV3， significantly reducing the computation and parameter volume of the network without compromising feature extraction capabilities. Secondly， a dual cross-correlation module is designed. The module uses Pointwise Cross-Correlation to quickly calculate the similarity between template image features and search image features and also uses Depthwise Cross-Correlation to supplement missing features， effectively enhancing feature matching accuracy and robustness. Then， a lightweight prediction head is designed by stacking multiple depthwise separable convolution layers， obtaining accurate target representations with minimal performance consumption. Finally， classification ranking loss is introduced to traditional classification and regression losses， enhancing the network’s ability to learn target foreground and suppress background interference， and further improving tracking performance. Comprehensive experiments show that the proposed algorithm achieves 82.1%， 81.2%， and 64.6% precision and 63.4%， 61.8%， and 49.6% success rate on DTB70， UAV123， and UAV20L datasets， respectively， with only 5.3×10⁵ parameters and 1.1×10⁸ floating point operations. It achieves the performance comparable to state-of-the-art tracking algorithms， while having significantly fewer parameters and computational load， and it can run at the speeds above 100 fps， meeting the real-time requirements of UAV object tracking.

Key words: UAV, Siamese network, single object tracking, lightweight, cross-correlation

中图分类号:

V279

丁奇帅, 雷帮军, 吴正平. 基于孪生网络的轻量型无人机单目标跟踪算法[J]. 航空学报, 2025, 46(4): 330925.

Qishuai DING, Bangjun LEI, Zhengping WU. A lightweight single object tracking algorithm for UAVs based on Siamese network[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(4): 330925.

图/表 15

图 1

表1

图 2

图 3

图 4

表2

表3

图 5

图6

图 7

表4

表5

表6

图 8

图 9

参考文献 40

1	BERTINETTO L， VALMADRE J， HENRIQUES J F， et al. Fully-convolutional Siamese networks for object tracking［C］∥European Conference on Computer Vision. Cham： Springer， 2016： 850-865.
2	LI B， YAN J J， WU W， et al. High performance visual tracking with Siamese region proposal network‍［C］‍∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 8971-8980.
3	ZHU Z， WANG Q， LI B， et al. Distractor-aware siamese networks for visual object tracking‍［C］‍∥Proceedings of the European Conference on Computer Vision （ECCV）. Cham： Springer， 2018： 101-117.
4	LI B， WU W， WANG Q， et al. Siamrpn++： Evolution of siamese visual tracking with very deep networks［C］‍∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2019： 4282-4291.
5	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］∥Proceedings of the IEEE Conference on Computer vision and Pattern Recognition. Piscataway： IEEE Press， 2016： 770-778.
6	HU W， WANG Q， ZHANG L， et al. Siammask： A framework for fast online object tracking and segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（3）： 3072-3089.
7	雷帮军，丁奇帅，牟乾西，等. 基于模板更新和双特征增强的视觉跟踪算法［J/OL］. 北京航空航天大学学报，（2024-02-27）［2024-07-01］. .
	LEI B J， DING Q S， MOU Q X， et al. Visual tracking algorithm based on template updating and dual feature enhancement［J］. Journal of Beijing University of Aeronautics and Astronautics，（2024-02-27 ［2024-07-01］. （in Chinese）.
8	CHEN Z D， ZHONG B N， LI G R， et al. Siamese box adaptive network for visual tracking‍［C］‍∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 6667-6676.
9	GUO D Y， WANG J， CUI Y， et al. SiamCAR： Siamese fully convolutional classification and regression for visual tracking‍［C］‍∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 6268-6276.
10	LIN L， FAN H， ZHANG Z， et al. SwinTrack： A simple and strong baseline for transformer tracking［DB/OL］. arXiv preprint： 2112. 00995， 2021.
11	CHEN X， YAN B， ZHU J W， et al. Transformer tracking［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 8122-8131.
12	CHEN X， PENG H W， WANG D， et al. SeqTrack： Sequence to sequence learning for visual object tracking［C］∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 14572-14581.
13	YAN B， PENG H W， WU K， et al. LightTrack： Finding lightweight neural networks for object tracking via one-shot architecture search［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 15175-15184.
14	CAO Z A， HUANG Z Y， PAN L， et al. TCTrack： Temporal contexts for aerial tracking［C］∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 14778-14788.
15	CAO Z A， HUANG Z Y， PAN L， et al. Towards real-world visual tracking with temporal contexts［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（12）： 15834-15849.
16	FU C H， CAO Z A， LI Y M， et al. Onboard real-time aerial tracking with efficient Siamese anchor proposal network［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 5606913.
17	CAO Z A， FU C H， YE J J， et al. SiamAPN： Siamese attentional aggregation network for real-time UAV tracking［C］∥2021 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Piscataway： IEEE Press， 2021： 3086-3092.
18	XING D T， EVANGELIOU N， TSOUKALAS A， et al. Siamese transformer pyramid networks for real-time UAV tracking［C］∥2022 IEEE/CVF Winter Conference on Applications of Computer Vision （WACV）. Piscataway： IEEE Press， 2022： 1898-1907.
19	刘芳，孙亚楠. 基于自适应融合网络的无人机目标跟踪算法［J］. 航空学报， 2022， 43（7）： 359-369.
	LIU F， SUN Y N. UAV target tracking algorithm based on adaptive fusion network［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（7）： 359-369 （in Chinese）.
20	徐心宇，陈建. 无人机状态检测Kalman滤波空地目标跟踪算法［J］. 航空学报， 2024， 45（16）： 329834
	XU X Y， CHEN J. UAV object tracking for air-ground targets based on status detection and Kalman filter［J］.Acta Aeronautica et Astronautica Sinica， 2024， 45（16）： 329834 （in Chinese）.
21	薛远亮，金国栋，谭力宁，等. 基于多尺度融合的自适应无人机目标跟踪算法［J］. 航空学报， 2023， 44（1）： 326107 .
	XUE Y L， JIN G D， TAN L N， et al. Adaptive UAV target tracking algorithm based on multi-scale fusion［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（1）： 326107 （in Chinese）.
22	HOWARD A， SANDLER M， CHEN B， et al. Searching for MobileNetV3‍［C］‍∥2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2019： 1314-1324.
23	TANG F， LING Q. Ranking-based Siamese visual tracking［C］∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 8731-8740.
24	LI S Y， YEUNG D Y. Visual object tracking for unmanned aerial vehicles： A benchmark and new motion models［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2017， 31（1）： 4140-4146.
25	MUELLER M， SMITH N， GHANEM B. A benchmark and simulator for UAV tracking［M］∥Computer Vision‐ECCV 2016. Cham： Springer， 2016： 445-461.
26	HOWARD A G， ZHU M L， CHEN B， et al. MobileNets： Efficient convolutional neural networks for mobile vision applications［DB/OL］. arXiv preprint： 1704. 04861， 2017.
27	SANDLER M， HOWARD A， ZHU M L， et al. MobileNetV2： inverted residuals and linear bottlenecks［C］‍∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 4510-4520.
28	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］‍∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 7132-7141.
29	GUO D Y， SHAO Y Y， CUI Y， et al. Graph attention tracking［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 9538-9547.
30	LIAO B Y， WANG C Y， WANG Y Y， et al. PG-net： Pixel to global matching network for visual tracking［C］∥European Conference on Computer Vision. Cham： Springer， 2020： 429-444.
31	LIN T Y， MAIRE M， BELONGIE S， et al. Microsoft COCO： Common objects in context［M］∥Lecture Notes in Computer Science. Cham： Springer International Publishing， 2014： 740-755.
32	REAL E， SHLENS J， MAZZOCCHI S， et al. Youtube-boundingboxes： A large high-precision human-annotated data set for object detection in video［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2017： 5296-5305.
33	RUSSAKOVSKY O， DENG J， SU H， et al. Imagenet large scale visual recognition challenge［J］. International Journal of Computer Vision， 2015， 115： 211-252.
34	HUANG L H， ZHAO X， HUANG K Q. GOT-10k： A large high-diversity benchmark for generic object tracking in the wild［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（5）： 1562-1577.
35	ZHANG Z， PENG H， FU J， et al. Ocean： Object-aware anchor-free tracking‍［C］‍∥Computer Vision‍-‍ECCV 2020. Cham： Springer， 2020： 771-787.
36	ZHANG Z P， PENG H W. Deeper and wider Siamese networks for real-time visual tracking［C］‍∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2019： 4586-4595.
37	GUO Q， FENG W， ZHOU C， et al. Learning dynamic Siamese network for visual object tracking‍［C］‍∥2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 1781-1789.
38	VALMADRE J， BERTINETTO L， HENRIQUES J， et al. End-to-end representation learning for correlation filter based tracking‍［C］‍∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 5000-5008.
39	DANELLJAN M， BHAT G， KHAN F S， et al. ECO： Efficient convolution operators for tracking‍［C］‍∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 6931-6939.
40	LI X， MA C， WU B Y， et al. Target-aware deep tracking‍［C］‍∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2019： 1369-1378.

编辑推荐 0

Metrics

阅读次数

全文

559

HTML			PDF

最新录用	在线预览	正式出版	最新录用	在线预览	正式出版
0	0	5	369	0	185

来源	本网站	其他网站

次数	144	415
比例	26%	74%

摘要

476

最新录用	在线预览	正式出版

217	0	259

来源	本网站	其他网站

次数	151	325
比例	32%	68%

本文评价

地址：北京市海淀区北四环中路辅路238号柏彦大厦

邮政编码：100083

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

层数	输入	输出	卷积核	步长	SE
0	255²×3	128²×16	3×3	2
1	128²×16	64²×16	3×3	2	√
2	64²×16	32²×24	3×3	2
3	32²×24	32²×24	3×3	1
4	32²×24	16²×40	5×5	2	√
5	16²×40	16²×40	5×5	1	√
6	16²×40	16²×40	5×5	1	√
7	16²×40	16²×48	5×5	1	√
8	16²×48	16²×48	5×5	1	√
9	16²×48	16²×96	5×5	1	√

算法类别	跟踪算法	准确率	成功率	浮点数运算量/10⁹	参数量/10⁶	速度/fps
非轻量型算法	SiamDW_FC^［1］	0.722	0.489	8.00	7.40	76.70
	Ocean^［35］	0.636	0.455	4.40	25.9	61.60
	SiamMask^［6］	0.777	0.575	16.70	18.80	53.80
	SiamGAT^［29］	0.754	0.583	17.28	14.23	46.40
	SiamRPN++^［4］	0.795	0.589	48.90	53.95	51.60
轻量型算法	DaSiamRPN^［3］	0.694	0.472	21.10	19.60	163.20
	LightTrack^［13］	0.763	0.587	0.79	3.13
	SiamAPN^［16］	0.784	0.586	10.30	15.10	127.50
	SiamAPN++^［17］	0.792	0.594	9.20	12.20	93.40
	SiamTPN^［18］	0.728	0.572	3.73	10.77
	TCTrack^［14］	0.814	0.620	4.51	6.26	76.40
	Ours	0.821	0.634	0.11	0.53	174.69

跟踪算法	准确率	成功率
SiamFC^［1］	0.719	0.498
TCTrack++^［15］	0.731	0.519
SiamDW^［36］	0.776	0.536
SiamRPN^［2］	0.772	0.581
SiamMask^［6］	0.794	0.602
SiamBAN^［8］	0.795	0.604
TCTrack^［14］	0.800	0.604
SiamRPN++^［4］	0.804	0.611
SiamCAR^［9］	0.804	0.615
Ours	0.812	0.618

跟踪算法	准确率	成功率
DSiam^［37］	0.603	0.391
CFNet^［38］	0.588	0.399
SiamFC^［1］	0.599	0.402
ECO^［39］	0.589	0.427
TADT^［40］	0.609	0.459
DaSiamRPN^［3］	0.665	0.465
Ours	0.646	0.496

组合	本文 MobileNetV3	原始 MobileNetV3	轻量化预测头部	深度互相关	像素互相关	分类排名损失	浮点数运算量/10⁶	参数量/10³	准确率	成功率
1		√	√	√			101.89	394.68	0.709	0.531
2	√		√	√			104.42	465.16	0.728	0.556
3		√	√		√		103.66	414.52	0.711	0.538
4	√		√		√		106.19	484.99	0.736	0.563
5		√	√	√	√		113.03	470.97	0.764	0.574
6	√		√	√	√		115.56	541.45	0.786	0.600
7		√	√	√	√	√	113.03	470.97	0.770	0.578
8	√		√	√	√	√	115.56	541.45	0.812	0.618

基于孪生网络的轻量型无人机单目标跟踪算法

A lightweight single object tracking algorithm for UAVs based on Siamese network

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 40

相关文章 15

编辑推荐 0

Metrics

本文评价

堆叠次数N	浮点数运算量/10⁶	参数量/10³	UAV123			DTB70
堆叠次数N	浮点数运算量/10⁶	参数量/10³	准确率	成功率	速度/fps	准确率	成功率	速度/fps
1	91.16	436.81	0.512	0.455	198.35	0.522	0.479	208.67
2	96.04	475.73	0.558	0.479	183.96	0.586	0.504	200.01
3	100.92	478.66	0.612	0.522	172.46	0.636	0.533	192.74
4	105.80	499.59	0.759	0.575	161.70	0.779	0.588	186.58
5	110.68	520.52	0.798	0.602	149.68	0.801	0.613	180.42
6	115.56	541.45	0.812	0.618	142.77	0.821	0.634	174.69
7	120.45	562.37	0.801	0.601	133.24	0.818	0.632	165.36
8	125.34	583.29	0.806	0.599	128.69	0.814	0.630	158.64

[1]	吴付杰, 王博文, 齐静雅, 曹铭智, 桑英俊, 李晟, 张玉珍, 陈钱, 左超. 机载多孔径全景图像合成技术研究进展[J]. 航空学报, 2025, 46(3): 630505-630505.
[2]	马诺, 卫社春, 孟军辉, 刘清洋, 雷宇声. 考虑减速伞作用的无人机内埋舱体分离流场特性与动力学[J]. 航空学报, 2025, 46(3): 130755-130755.
[3]	吴一全, 童康. 基于深度学习的无人机航拍图像小目标检测研究进展[J]. 航空学报, 2025, 46(3): 30848-030848.
[4]	郭廷宇, 闫溟, 解春雷. 聚合-分体飞行器气动特性[J]. 航空学报, 2024, 45(S1): 730596-730596.
[5]	余莎莎, 陈星雨. 城市空中交通领域关键技术创新与挑战[J]. 航空学报, 2024, 45(S1): 730657-730657.
[6]	马骥, 陈向勇, 温广辉, 程龙, 邱建龙. 随机切换拓扑下无人机集群预设时间跟踪控制[J]. 航空学报, 2024, 45(S1): 730793-730793.
[7]	柳汀, 周国鑫, 徐扬, 罗德林, 郭正玉, 杨梦杰. 融合信息图的优化哈里斯鹰多无人机动态目标搜索[J]. 航空学报, 2024, 45(S1): 730773-730773.
[8]	王海峰, 刘坤澎, 江泓鑫, 杜晨曦. 螺旋桨多设计点气动优化方法和变桨距角策略[J]. 航空学报, 2024, 45(9): 528831-528831.
[9]	赵春晖, 刘安萌, 吕洋, 潘泉. 无人机韧性自主定位技术综述[J]. 航空学报, 2024, 45(8): 28839-028839.
[10]	张薇, 何若俊. 面向物联网数据收集的无人机自主路径规划[J]. 航空学报, 2024, 45(8): 329054-329054-1.
[11]	赵靖, 宋丹. 无人机GNSS/IMU组合导航系统完好性监测方法[J]. 航空学报, 2024, 45(7): 328943-328943.
[12]	王传云, 苏阳, 王琳霖, 王田, 王静静, 高骞. 面向反制无人机集群的多目标连续鲁棒跟踪算法[J]. 航空学报, 2024, 45(7): 329017-329017.
[13]	罗旭东, 吴一全, 陈金林. 无人机航拍影像目标检测与语义分割的深度学习方法研究进展[J]. 航空学报, 2024, 45(6): 28822-028822.
[14]	尹洪玉, 吴宇, 梁天骄. 固定翼无人机巡逻覆盖协同路径规划方法[J]. 航空学报, 2024, 45(6): 328944-328944.
[15]	安朝, 霍贵玺, 孟杨, 谢长川, 杨超. 翼尖铰接组合式无人机气动建模方法及布局参数影响[J]. 航空学报, 2024, 45(6): 629587-629587.