基于特征协同重构的RGB-T无人机目标跟踪

doi:10.7527/S1000-6893.2025.32017

干扰环境下无人机多源感知专栏

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于特征协同重构的RGB-T无人机目标跟踪

高栋, 赖普坚, 王世磊, 程塨()

西北工业大学自动化学院，西安 710072

收稿日期:2025-03-25 修回日期:2025-04-16 接受日期:2025-05-30 出版日期:2025-06-30 发布日期:2025-06-13
通讯作者: 程塨 E-mail:gcheng@nwpu.edu.cn
基金资助:
国家自然科学基金(61772425);陕西省自然科学基金(2021JC-16)

RGB-T UAV object tracking based on feature-cooperative reconstruction

Dong GAO, Pujian LAI, Shilei WANG, Gong CHENG()

School of Automation，Northwestern Polytechnical University，Xi’an 710072，China

Received:2025-03-25 Revised:2025-04-16 Accepted:2025-05-30 Online:2025-06-30 Published:2025-06-13
Contact: Gong CHENG E-mail:gcheng@nwpu.edu.cn
Supported by:
National Natural Science Foundation of China(61772425);Shaanxi Province Natural Science Foundation(2021JC-16)

摘要/Abstract

摘要：

RGB-T无人机目标跟踪通过融合可见光和热红外模态的互补信息，提升复杂环境下的目标跟踪鲁棒性。然而，现有的方法忽略了模态差异引起的噪声干扰，导致模态间特征互补的有效性受损，特征表征能力下降，从而制约了RGB-T无人机目标跟踪器的性能表现。针对上述问题，提出了一种基于特征协同重构的RGB-T无人机目标跟踪方法，该方法的核心是设计了一种由跨模态交互编码器和特征重构解码器组成的特征协同重构模块。具体地，跨模态交互编码器通过自适应特征交互机制，在提取辅助模态关键互补信息的同时有效抑制跨模态噪声干扰。随后，特征重构解码器利用编码器输出的查询特征引导模态特征重构，在保留模态特定特征的同时引入跨模态互补信息，增强特征表征能力。此外，为了提高动态场景下的目标定位精度，提出了一种跨模态位置线索融合模块，用于融合不同模态的搜索区域，从而提供更准确的位置线索。最后，在VTUAV和HiAL共2个RGB-T无人机目标跟踪基准数据集和LasHeR数据集对所提方法进行了全面的实验评估。实验结果表明，所提方法在VTUAV和HiAL数据集上性能显著优于现有方法。特别地，在VTUAV数据集上，相比HMFT，所提方法的跟踪成功率和准确率分别提升了9.9%和9.0%。

关键词: 无人机, 目标跟踪, Transformer, 跨模态特征交互, 特征协同重构, 跨模态位置线索融合

Abstract:

RGB-T Unmanned Aerial Vehicle （UAV） object tracking enhances tracking robustness in complex environments by fusing complementary information from visible light and thermal infrared modalities. However， existing methods neglect the noise interference caused by modality gaps， which weakens the effectiveness of cross-modal feature complementarity and degrades the power of feature representation； thereby， limiting the performance of RGB-T UAV trackers. To address this issue， a feature-cooperative reconstruction-based tracker is proposed， the core of which is to develop a feature-cooperative reconstruction module， consisting of a cross-modal interaction encoder and a feature reconstruction decoder. Specifically， the cross-modal interaction encoder employs an adaptive feature interaction strategy to extract critical complementary information from the auxiliary modality while effectively suppressing cross-modal noise interference. The feature reconstruction decoder then utilizes the query features from the encoder to guide the reconstruction of features， preserving modality-specific information while incorporating cross-modal complementary details to enhance feature representation. Additionally， to improve target localization accuracy in dynamic scenes， a cross-modal location cue fusion module is proposed to integrate search regions from different modalities， providing more precise localization cues. Finally， extensive experimental evaluations on two RGB-T UAV object tracking benchmark datasets （i.e.， VTUAV and HiAL） as well as the LasHeR dataset are conducted. The results demonstrate that the proposed method significantly outperforms existing methods. Notably， compared to HMFT， the proposed method improves tracking success rate and precision on the VTUAV dataset by 9.9% and 9.0%， respectively.

Key words: UAV, object tracking, Transformer, cross-modal feature interaction, feature-cooperative reconstruction, cross-modal location cue fusion

中图分类号:

V279

高栋, 赖普坚, 王世磊, 程塨. 基于特征协同重构的RGB-T无人机目标跟踪[J]. 航空学报, 2025, 46(23): 632017.

Dong GAO, Pujian LAI, Shilei WANG, Gong CHENG. RGB-T UAV object tracking based on feature-cooperative reconstruction[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(23): 632017.

图/表 13

图 1

图 2

图 3

表 1

表 2

表 3

表 4

图 4

表 5

GPU GTX 3090上的速度、运算量和参数量比较

方法

最大

成功率/%

速度/（帧·s^-1）

运算量/GFLOPs

参数量/

108

TBSI^［11］

70.8

34.2*

82.5

2.02

方法

本文

72.6

35.6

74.3

2.00

表 5

表 6

表 7

图 5

图 6

参考文献 35

[1]	陈琳，刘允刚. 面向无人机的视觉目标跟踪算法：综述与展望［J］. 信息与控制， 2022， 51（1）： 23-40.
	CHEN L， LIU Y G. UAV visual target tracking algorithms： Review and future prospect［J］. Information and Control， 2022， 51（1）： 23-40 （in Chinese）.
[2]	褚昭晨，宋韬，金忍，等. 基于视觉图像的空对空多无人机目标跟踪［J］. 航空学报， 2024， 45（14）： 629379.
	CHU Z C， SONG T， JIN R， et al. Vision-based air-to-air multi-UAVs tracking［J］. Acta Aeronautica et Astronautica Sinica， 2024， 45（14）： 629379 （in Chinese）.
[3]	薛远亮，金国栋，谭力宁，等. 基于多尺度融合的自适应无人机目标跟踪算法［J］. 航空学报， 2023， 44（1）： 326107.
	XUE Y L， JIN G D， TAN L N， et al. Adaptive UAV target tracking algorithm based on multi-scale fusion［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（1）： 326107 （in Chinese）.
[4]	刘贞报，马博迪，高红岗，等. 基于形态自适应网络的无人机目标跟踪方法［J］. 航空学报， 2021， 42（4）： 524904.
	LIU Z B， MA B D， GAO H G， et al. Adaptive morphological network based UAV target tracking algorithm［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（4）： 524904 （in Chinese）.
[5]	BHAT G， DANELLJAN M， VAN GOOL L， et al. Learning discriminative model prediction for tracking［C］∥2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2019： 6181-6190.
[6]	DANELLJAN M， BHAT G， KHAN F S， et al. ATOM： Accurate tracking by overlap maximization［C］∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2019： 4655-4664.
[7]	ZHU J W， LAI S M， CHEN X， et al. Visual prompt multi-modal tracking［C］∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 9516-9526.
[8]	ZHANG P Y， ZHAO J， WANG D， et al. Visible-thermal UAV tracking： A large-scale benchmark and new baseline［C］∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 8876-8885.
[9]	CAO B， GUO J L， ZHU P F， et al. Bi-directional adapter for multimodal tracking［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2024， 38（2）： 927-935.
[10]	CUI Y T， JIANG C， WANG L M， et al. MixFormer： End-to-end tracking with iterative mixed attention［C］∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022.
[11]	HUI T R， XUN Z Z， PENG F G， et al. Bridging search region interaction with template for RGB-T tracking［C］∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023.
[12]	WANG Y K， SUN F C， HUANG W B， et al. Channel exchanging networks for multimodal and multitask dense image prediction［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（5）： 5481-5496.
[13]	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16x16 words： Transformers for image recognition at scale［DB/OL］. arXiv preprint： 2010.11929， 2020.
[14]	肖云，曹丹，李成龙，等. 基于高空无人机平台的多模态跟踪数据集［J］. 中国图象图形学报， 2025， 30（2）： 361-374.
	XIAO Y， CAO D， LI C L， et al. A benchmark dataset for high-altitude UAV multi-modal tracking［J］. Journal of Image and Graphics， 2025， 30（2）： 361-374 （in Chinese）.
[15]	LAI P J， CHENG G， ZHANG M L， et al. NCSiam： Reliable matching via neighborhood consensus for Siamese-based object tracking［J］. IEEE Transactions on Image Processing， 2023， 32： 6168-6182.
[16]	XU Y D， WANG Z Y， LI Z X， et al. SiamFC++： towards robust and accurate visual tracking with target estimation guidelines［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（7）： 12549-12556.
[17]	CHEN Z D， ZHONG B N， LI G R， et al. Siamese box adaptive network for visual tracking［C］∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020.
[18]	ZHANG T L， LIU X R， ZHANG Q， et al. SiamCDA： Complementarity-and distractor-aware RGB-T tracking based on Siamese network［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（3）： 1403-1417.
[19]	HOU X J， XING J Z， QIAN Y J， et al. SDSTrack： Self-distillation symmetric adapter learning for multi-modal visual object tracking［C］∥2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2024.
[20]	YE B T， CHANG H， MA B P， et al. Joint feature learning andRelation modeling forTracking： A one-stream framework［C］∥Computer Vision-ECCV 2022. Cham： Springer， 2022： 341-357.
[21]	LAW H， DENG J. CornerNet： Detecting objects as paired keypoints［C］∥Computer Vision-ECCV 2018. Cham： Springer， 2018： 765-781.
[22]	REZATOFIGHI H， TSOI N， GWAK J， et al. Generalized intersection over union： A metric and a loss for bounding box regression［C］∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2019： 658-666.
[23]	MULLER M， BIBI A， GIANCOLA S， et al. Trackingnet： A large-scale dataset and benchmark for object tracking in the wild［C］∥Proceedings of the European conference on computer vision （ECCV）. 2018： 300-317.
[24]	LI C L， XUE W L， JIA Y Q， et al. LasHeR： A large-scale high-diversity benchmark for RGBT tracking［J］. IEEE Transactions on Image Processing， 2021， 31： 392-404.
[25]	LOSHCHILOV I， HUTTER F. Decoupled weight decay regularization［DB/OL］. arXiv preprint： 1711.05101， 2017.
[26]	GAO Y， LI C， ZHU Y， et al. Deep adaptive fusion nework for high performance RGBT tracking［C］∥Proceedings of the IEEE/CVF international conference on computer vision workshops. Piscataway： IEEE Press， 2019.
[27]	ZHANG P Y， WANG D， LU H C， et al. Learning adaptive attribute-driven representation for real-time RGB-T tracking［J］. International Journal of Computer Vision， 2021， 129（9）： 2714-2729.
[28]	KRISTAN M， MATAS J， LEONARDIS A， et al. The seventh visual object tracking VOT2019 challenge results［C］∥2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. Piscataway： IEEE Press， 2019.
[29]	ZHANG L C， DANELLJAN M， GONZALEZ-GARCIA A， et al. Multi-modal fusion for end-to-end RGB-T tracking［C］∥2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. Piscataway： IEEE Press， 2019.
[30]	FAN H J， YU Z C， WANG Q， et al. QueryTrack： Joint-modality query fusion network for RGBT tracking［J］. IEEE Transactions on Image Processing， 2024， 33： 3187-3199.
[31]	XIAO Y， YANG M M， LI C L， et al. Attribute-based progressive fusion network for RGBT tracking［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2022， 36（3）： 2831-2838.
[32]	LIU L， LI C L， XIAO Y， et al. RGBT tracking via challenge-based appearance disentanglement and interaction［J］. IEEE Transactions on Image Processing， 2024， 33： 1753-1767.
[33]	ZHANG T L， GUO H Y， JIAO Q， et al. Efficient RGB-T tracking via cross-modality distillation［C］∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 5404-5413.
[34]	LIU Y S， ZHOU D M， CAO J D， et al. Specific and collaborative representations Siamese network for RGBT tracking［J］. IEEE Sensors Journal， 2024， 24（11）： 18520-18534.
[35]	WU Z W， ZHENG J L， REN X X， et al. Single-model and any-modality for video object tracking［C］∥2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2024： 19156-19166.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

方法	最大准确率/%	最大成功率/%
DAFNet^［26］	62.0	45.8
ADRNet^［27］	62.2	46.6
FSRPN^［28］	65.3	54.4
mfDiMP^［29］	67.3	55.4
QueryTrack^［30］	75.5	63.3
HMFT^［8］ TBSI^［11］	75.8 82.9	62.7 70.8
本文方法	84.8	72.6

方法	准确率/%	成功率/%
HMFT^［8］	60.2	49.9
APFNet^［31］	48.8	51.4
CAT^［32］	45.2	47.0
ViPT^［7］	59.1	50.8
TBSI^［11］	52.7	46.8
SDSTrack^［19］	54.7	40.2
本文方法	63.0	51.5

方法	准确率/%	归一化准确率/%	成功率/%
CAT++^［32］	50.9	44.4	35.6
SiamSCR^［34］	52.2		40.1
mfDiMP^［29］	44.8	39.5	34.3
CMD^［33］	59.0	54.6	46.4
HMFT^［8］	46.0	41.3	32.6
VIPT^［7］	65.1		52.5
QueryTrack^［30］	66.0		52.0
TBSI^［11］	69.2	65.7	55.6
SDSTrack^［19］ Un-Track^［35］	66.5 66.7		53.1 53.6
本文方法	70.1	66.6	56.4

属性	本文方法/%	TBSI/%	VIPT/%	SDSTrack/%
HI	73.6/58.0	72.6/56.7	67.9/54.2	69.2/55.3
LI	61.1/49.4	60.5/49.0	49.8/41.2	53.5/44.0
MB	62.8/49.8	62.8/49.6	57.3/45.9	59.8/47.6
HO	58.4/52.1	60.3/49.6	47.3/43.8	58.9/52.8
TO	64.3/51.4	62.3/49.6	57.6/46.1	60.0/47.8
PO	67.2/54.0	64.6/51.6	62.4/50.3	63.1/50.8
NO	91.1/74.2	90.1/73.9	84.0/68.4	87.4/71.3
ARV	62.8/51.9	60.3/49.6	59.3/49.5	60.7/50.3
SV	69.9/56.4	66.7/54.2	65.0/52.5	66.1/53.3
FM	68.4/55.6	59.2/46.7	63.1/51.4	65.3/53.1
OV	64.4/57.0	65.6/57.3	76.2/65.0	69.6/60.7
FL	57.0/45.8	57.5/45.2	59.1/46.5	59.3/46.6
TC	62.3/50.3	62.5/49.8	57.3/46.0	57.4/46.3
CM	67.8/54.3	68.0/54.8	62.1/50.0	63.4/50.9
SA	61.3/49.7	59.0/47.6	57.3/46.5	57.2/46.3
BC	68.2/55.0	65.2/52.4	64.9/51.8	64.0/51.7
DEF	72.4/59.7	60.5/58.3	67.4/55.7	69.3/56.8
LR	62.4/46.4	60.5/44.4	56.4/41.6	57.2/42.6
AIV	54.8/47.2	57.5/49.8	37.5/35.0	54.2/48.3

方法	VTUAV		LasHeR
方法	最大准确率/%	最大成功率/%	准确率/%	归一化准确率/%	成功率/%
基线网络	80.4	67.7	68.9	65.3	55.1
+FCR	83.9	71.6	69.6	65.7	55.9
+CPF	82.3	70.4	69.7	65.8	55.8
+FCR+CPF	84.8	72.6	70.1	66.6	56.4

基于特征协同重构的RGB-T无人机目标跟踪

RGB-T UAV object tracking based on feature-cooperative reconstruction

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 35

相关文章 15

编辑推荐

Metrics

本文评价

[1]	贺炅, 任斌武, 杜思亮, 徐尤松, 王博. 基于ADRC-RBF倾转四旋翼无人机姿态自适应控制[J]. 航空学报, 2025, 46(S1): 732189-732189.
[2]	周攀, 李霓, 黄江涛, 杨青林, 廉云霄. 非完备信息下无人机近距博弈自主决策[J]. 航空学报, 2025, 46(S1): 732215-732215.
[3]	虞翔宇, 李文, 严杰, 梁世哲. 无人机液氢燃料电池热管理系统仿真研究[J]. 航空学报, 2025, 46(9): 630964-630964.
[4]	杨芃芊, 陈禹彤, 刘俊辉, 杨杰豪, 单家元, 孙士珺. 串列翼货运无人机大攻角气动与操稳特性[J]. 航空学报, 2025, 46(9): 131056-131056.
[5]	李荣祖, 刘莉, 杨盾. 基于多源域融合代理模型的氢能无人机优化设计[J]. 航空学报, 2025, 46(9): 630979-630979.
[6]	万开方, 吴志林, 武韫晖, 强皓植, 吴艺博, 李波. 拒止环境下基于深度强化学习的多无人机协同定位[J]. 航空学报, 2025, 46(8): 331024-331024.
[7]	姜凌峰, 李新凯, 张海, 李涵玮, 张宏立. 基于改进TD3算法的无人机动态环境无地图导航[J]. 航空学报, 2025, 46(8): 331035-331035.
[8]	向锦武, 马凯, 阚梓, 李道春, 郑可欣, 陈汉轩. 氢能源无人机关键技术研究进展[J]. 航空学报, 2025, 46(5): 531603-531603.
[9]	丁奇帅, 雷帮军, 吴正平. 基于孪生网络的轻量型无人机单目标跟踪算法[J]. 航空学报, 2025, 46(4): 330925-330925.
[10]	吴付杰, 王博文, 齐静雅, 曹铭智, 桑英俊, 李晟, 张玉珍, 陈钱, 左超. 机载多孔径全景图像合成技术研究进展[J]. 航空学报, 2025, 46(3): 630505-630505.
[11]	马诺, 卫社春, 孟军辉, 刘清洋, 雷宇声. 考虑减速伞作用的无人机内埋舱体分离流场特性与动力学[J]. 航空学报, 2025, 46(3): 130755-130755.
[12]	吴一全, 童康. 基于深度学习的无人机航拍图像小目标检测研究进展[J]. 航空学报, 2025, 46(3): 30848-030848.
[13]	黄维, 潘家皓, 何楚. 小波时频局部化无人机目标检测模型压缩研究[J]. 航空学报, 2025, 46(23): 631952-631952.
[14]	刘奎, 孙浩, 伍瀚, 计科峰, 匡纲要. 动态亮度重建的无人机可见光-红外融合目标检测[J]. 航空学报, 2025, 46(23): 631968-631968.
[15]	张安平, 董昊. 应对高端战争的无人机蜂群及其起飞方式[J]. 航空学报, 2025, 46(22): 331034-331034.

插入层			最大准确率/%	最大成功率/%
4	7	10	最大准确率/%	最大成功率/%
×	×	×	82.3	70.4
√	×	×	83.7	71.8
√	√	×	84.1	71.9
√	√	√	84.8	72.6