基于自适应模板更新的Transformer无人机目标跟踪算法

doi:10.7527/S1000-6893.2025.31687

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于自适应模板更新的Transformer无人机目标跟踪算法

刘芳¹, 卢晨阳¹(), 路言¹, 王鑫²

^1.北京工业大学信息科学技术学院，北京 100124
^2.国网北京丰台供电公司，北京 100161

收稿日期:2024-12-19 修回日期:2025-02-13 接受日期:2025-04-11 出版日期:2025-04-27 发布日期:2025-04-25
通讯作者: 卢晨阳 E-mail:lcy0213@emails.bjut.edu.cn
基金资助:
国家自然科学基金(61171119)

Adaptive template update-based Transformer algorithm for UAV target tracking

Fang LIU¹, Chenyang LU¹(), Yan LU¹, Xin WANG²

^1.School of Information Science and Technology，Beijing University of Technology，Beijing 100124，China
^2.Fengtai Power Supply Bureau of Beijing Power Supply Bureau，Beijing 100161，China

Received:2024-12-19 Revised:2025-02-13 Accepted:2025-04-11 Online:2025-04-27 Published:2025-04-25
Contact: Chenyang LU E-mail:lcy0213@emails.bjut.edu.cn
Supported by:
National Natural Science Foundation of China(61171119)

摘要/Abstract

摘要：

无人机已被广泛应用在军事和民用领域，目标跟踪是无人机应用的关键技术之一。针对无人机目标跟踪中目标易发生形变、遮挡、尺度变化以及环境复杂等问题，提出一种基于自适应模板更新的Transformer无人机目标跟踪算法。首先，基于改进非对称注意力机制构建Transformer骨干网络，有效提取了图像特征并增强了特征对目标的表达能力。其次，提出一种基于外观变化系数的自适应模板更新策略，通过计算外观变化系数，自适应进行模板更新，提升了跟踪网络处理目标变化的能力。最后，根据搜索区域图像特征响应图计算最大置信分数，确定目标位置。仿真实验结果表明，所提算法能够有效提升无人机目标跟踪的精度，具有较好的鲁棒性。

关键词: 机器视觉, 无人机, 目标跟踪, 模板更新, 深度网络

Abstract:

Unmanned Aerial Vehicles （UAVs） have been extensively deployed in both military and civilian applications， where target tracking plays a critical role. To address challenges such as target deformation， occlusion， scale variation， and complex environmental conditions during UAV target tracking， a adaptive template update-based Transformer algorithm for UAV target tracking is proposed. Specifically， a Transformer backbone network is constructed using an improved asymmetric attention mechanism to effectively extract image features and enhance the representation of target-related information. Furthermore， an adaptive template updating strategy based on an appearance variation coefficient is introduced. By dynamically computing this coefficient， the template is updated adaptively to improve the ability of network to cope with appearance changes of the target. Finally， the target position is determined by calculating the maximum confidence score from the response map of the search region. Experimental results demonstrate that the proposed algorithm significantly improves the accuracy of UAV target tracking and exhibits strong robustness.

Key words: machine vision, Unmanned Aerial Vehicle (UAV), target tracking, template update, deep network

中图分类号:

V279

刘芳, 卢晨阳, 路言, 王鑫. 基于自适应模板更新的Transformer无人机目标跟踪算法[J]. 航空学报, 2025, 46(16): 331687.

Fang LIU, Chenyang LU, Yan LU, Xin WANG. Adaptive template update-based Transformer algorithm for UAV target tracking[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(16): 331687.

图/表 8

图 1

图 2

图 3

图 4

图 5

表 1

消融实验

序号	改进非对称注意力机制	普通模板更新	自适应模板更新	UAV123		GOT-10K		速度/（frame·s^-1）
序号	改进非对称注意力机制	普通模板更新	自适应模板更新	AUC/%	P/%	AOR/%	$S R 0.5$ /%	速度/（frame·s^-1）
1	$×$	$×$	$×$	67.9	90.1	70.7	80.0	51
2	$√$	$×$	$×$	69.7	91.3	72.9	82.9	50
3	$√$	$√$	$×$	67.5	88.1	73.0	83.0	40
4	$√$	$×$	$√$	70.0	91.6	73.5	83.4	40

表 1

表 2

图 6

参考文献 28

[1]	管皓，薛向阳，安志勇. 深度学习在视频目标跟踪中的应用进展与展望［J］. 自动化学报， 2016， 42（6）： 834-847.
	GUAN H， XUE X Y， AN Z Y. Advances on application of deep learning for video object tracking［J］. Acta Automatica Sinica， 2016， 42（6）： 834-847 （in Chinese）.
[2]	刘芳，杨安喆，吴志威. 基于自适应Siamese网络的无人机目标跟踪算法［J］. 航空学报， 2020， 41（1）： 323423.
	LIU F， YANG A Z， WU Z W. Adaptive Siamese network based UAV target tracking algorithm［J］. Acta Aeronautica et Astronautica Sinica， 2020， 41（1）： 323423 （in Chinese）.
[3]	KUGARAJEEVAN J， KOKUL T， RAMANAN A， et al. Transformers in single object tracking： An experimental survey［J］. IEEE Access， 2023， 11： 80297-80326.
[4]	XIE F， WANG C Y， WANG G T， et al. Learning tracking representations via dual-branch fully Transformer networks［C］‍∥2021 IEEE/CVF International Conference on Computer Vision Workshops. Piscataway： IEEE Press， 2021： 2688-2697.
[5]	LIN L T， FAN H， ZHANG Z P， et al. SwinTrack： A simple and strong baseline for Transformer tracking［C］‍∥36th Conference on Neural Information Processing Systems. 2022： 16743-16754.
[6]	YE B T， CHANG H， MA B P， et al. Joint feature learning and relation modeling for tracking： A one-stream framework［C］‍∥European Conference on Computer Vision. Cham： Springer Nature Switzerland， 2022： 341-357.
[7]	YU B， TANG M， ZHENG L Y， et al. High-performance discriminative tracking with Transformers［C］‍∥2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE Press， 2021： 9836-9845.
[8]	WANG N， ZHOU W G， WANG J， et al. Transformer meets tracker： Exploiting temporal context for robust visual tracking［C］‍∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2021： 1571-1580.
[9]	CHEN X， YAN B， ZHU J W， et al. High-performance Transformer tracking［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（7）： 8507-8523.
[10]	CUI Y T， JIANG C， WANG L M， et al. MixFormer： End-to-end tracking with iterative mixed attention［C］‍∥ 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2022： 13608-13618.
[11]	ZHOU X Y， WANG D Q， KRÄHENBÜHL P. Objects as points［DB/OL］. arXiv preprint： 1904.07850， 2019.
[12]	YAN B， PENG H W， FU J L， et al. Learning spatio-temporal Transformer for visual tracking［C］‍∥2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE Press， 2021： 10428-10437.
[13]	CAI Y D， LIU J， TANG J， et al. Robust object modeling for visual tracking［C］‍∥2023 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE Press， 2023： 9589-9600.
[14]	LAW H， DENG J. CornerNet： Detecting objects as paired keypoints［C］‍∥European Conference on Computer Vision. Cham： Springer Nature Switzerland， 2018： 765-781.
[15]	REZATOFIGHI H， TSOI N， GWAK J Y， et al. Generalized intersection over union： A metric and a loss for bounding box regression［C］‍∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2019： 658-666.
[16]	YAO Z W， GHOLAMI A， SHEN S， et al. ADAHESSIAN： An adaptive second order optimizer for machine learning［C］‍∥Proceedings of the AAAI Conference on Artificial Intelligence. 2021： 10665-10673.
[17]	WU Q Q， YANG T Y， LIU Z Q， et al. DropMAE： Masked autoencoders with spatial-attention dropout for tracking tasks［C］‍∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2023： 14561-14571.
[18]	DANELLJAN M， HÄGER G， SHAHBAZ KHAN F， et al. Accurate scale estimation for robust visual tracking［C］‍∥Proceedings of the British Machine Vision Conference 2014. Guildford： BMVA Press， 2014.
[19]	LIN T Y， MAIRE M， BELONGIE S， et al. Microsoft COCO： Common objects in context［C］‍∥Computer Vision-ECCV 2014. Cham： Springer International Publishing， 2014： 740-755.
[20]	HUANG L H， ZHAO X， HUANG K Q. GOT-10k： A large high-diversity benchmark for generic object tracking in the wild［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（5）： 1562-1577.
[21]	FAN H， LIN L T， YANG F， et al. LaSOT： A high-quality benchmark for large-scale single object tracking［C］‍∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2019： 5369-5378.
[22]	MUELLER M， SMITH N， GHANEM B. A benchmark and simulator for UAV tracking［C］‍∥Computer Vision-ECCV 2016. Cham： Springer International Publishing， 2016： 445-461.
[23]	WU Y， LIM J， YANG M H. Online object tracking： A benchmark［C］‍∥2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2013： 2411-2418.
[24]	PAUWELS K， KRAGIC D. SimTrack： A simulation-based framework for scalable real-time object pose detection and tracking［C］‍∥2015 IEEE/RSJ International Conference on Intelligent Robots and System. Piscataway： IEEE Press， 2015： 1300-1307.
[25]	LI B， WU W， WANG Q， et al. SiamRPN++： Evolution of Siamese visual tracking with very deep networks［C］‍∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2019： 4277-4286.
[26]	GAO S Y， ZHOU C L， MA C， et al. AiATrack： Attention in attention for Transformer visual tracking［C］‍∥ Computer Vision-ECCV 2022. Cham： Springer Interational Publishing， 2022： 146-164.
[27]	CHEN X， YAN B， ZHU J W， et al. Transformer tracking［C］‍∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2021： 8122-8131.
[28]	FU Z H， FU Z H， LIU Q J， et al. SparseTT： Visual tracking with sparse Transformers［C］‍∥Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence. 2022： 905-912.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

跟踪算法	OTB100		UAV123		LaSOT		速度/（frame·s^-1）	参数量/10⁶
跟踪算法	AUC/%	P/%	AUC/%	P/%	AUC/%	P/%	速度/（frame·s^-1）	参数量/10⁶
所提算法	71.0	92.8	70.0	91.6	68.5	74.4	40	92
SimTrack-B		85.7	69.8	89.6	69.2	74.0	36	88
SwinTrack-B		90.2	64.9	84.3	67.2	70.8	45	90
TrDiMP	70.8	92.5	67.5	87.0	63.9	61.4	15	43
Stark	68.5	88.4	68.5	89.2	67.1		18	49
SparseTT	70.4	90.5	68.8	88.0	66.0	70.0	30	46
AiATrack	69.6	91.7	69.0	90.7	69.0	73.7	31	18
TransT	69.4	89.9	68.1	87.6	64.9	69.0	22	25
SiamRPN++	69.6	91.5	63.6	82.3	49.6	49.1	31	6

基于自适应模板更新的Transformer无人机目标跟踪算法

Adaptive template update-based Transformer algorithm for UAV target tracking

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 28

相关文章 15

编辑推荐

Metrics

本文评价

[1]	虞翔宇, 李文, 严杰, 梁世哲. 无人机液氢燃料电池热管理系统仿真研究[J]. 航空学报, 2025, 46(9): 630964-630964.
[2]	杨芃芊, 陈禹彤, 刘俊辉, 杨杰豪, 单家元, 孙士珺. 串列翼货运无人机大攻角气动与操稳特性[J]. 航空学报, 2025, 46(9): 131056-131056.
[3]	李荣祖, 刘莉, 杨盾. 基于多源域融合代理模型的氢能无人机优化设计[J]. 航空学报, 2025, 46(9): 630979-630979.
[4]	万开方, 吴志林, 武韫晖, 强皓植, 吴艺博, 李波. 拒止环境下基于深度强化学习的多无人机协同定位[J]. 航空学报, 2025, 46(8): 331024-331024.
[5]	姜凌峰, 李新凯, 张海, 李涵玮, 张宏立. 基于改进TD3算法的无人机动态环境无地图导航[J]. 航空学报, 2025, 46(8): 331035-331035.
[6]	向锦武, 马凯, 阚梓, 李道春, 郑可欣, 陈汉轩. 氢能源无人机关键技术研究进展[J]. 航空学报, 2025, 46(5): 531603-531603.
[7]	丁奇帅, 雷帮军, 吴正平. 基于孪生网络的轻量型无人机单目标跟踪算法[J]. 航空学报, 2025, 46(4): 330925-330925.
[8]	宋歌, 韩鹏飞, 罗钰翔, 潘卫军. 基于随机深度网络的航迹分类与异常检测[J]. 航空学报, 2025, 46(4): 330883-330883.
[9]	吴付杰, 王博文, 齐静雅, 曹铭智, 桑英俊, 李晟, 张玉珍, 陈钱, 左超. 机载多孔径全景图像合成技术研究进展[J]. 航空学报, 2025, 46(3): 630505-630505.
[10]	马诺, 卫社春, 孟军辉, 刘清洋, 雷宇声. 考虑减速伞作用的无人机内埋舱体分离流场特性与动力学[J]. 航空学报, 2025, 46(3): 130755-130755.
[11]	吴一全, 童康. 基于深度学习的无人机航拍图像小目标检测研究进展[J]. 航空学报, 2025, 46(3): 30848-030848.
[12]	赵江, 皮明豪, 田栢苓, 池沛, 王英勋. 面向多目标跟踪的集群无人机自组织共识决策方法[J]. 航空学报, 2025, 46(16): 331635-331635.
[13]	杨永刚, 姜文韬, 高志云. 低空无人机实时目标检测算法[J]. 航空学报, 2025, 46(16): 331619-331619.
[14]	陈丹, 汤程, 谢宇, 马园园, 徐天枢. 面向城市低空物流配送的无人机实时航迹双层规划[J]. 航空学报, 2025, 46(16): 331621-331621.
[15]	王昱, 谢志鹏, 田永健, 孟光磊. 虚拟结构引领强化学习分布式无人机编队控制[J]. 航空学报, 2025, 46(15): 331354-331354.