基于多视角低空遥感图像的船舶目标关联

doi:10.7527/S1000-6893.2026.33060

航天遥感图像智能处理与分析专刊

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于多视角低空遥感图像的船舶目标关联

刘云鹤¹, 姜智卓²(), 刘瑜³, 孙显⁴^,⁵, 何友³

^1.清华大学深圳国际研究生院，深圳 518000
^2.南开大学计算机学院，天津 300071
^3.清华大学电子工程系，北京 100084
^4.中国科学院空天信息创新研究院，北京 100094
^5.中国科学院网络信息体系技术重点实验室，北京 100190

收稿日期:2025-11-07 修回日期:2025-12-03 接受日期:2026-01-04 出版日期:2026-01-16 发布日期:2026-01-15
通讯作者: 姜智卓 E-mail:jiangzhizhuo@nankai.edu.cn
基金资助:
国家自然科学基金(62401335)

Vessel target association based on multi-view low-altitude remote sensing images

Yunhe LIU¹, Zhizhuo JIANG²(), Yu LIU³, Xian SUN⁴^,⁵, You HE³

^1.Tsinghua Shenzhen International Graduate School，Tsinghua University，Shenzhen 518000，China
^2.College of Computer Science，Nankai University，Tianjin 300071，China
^3.Department of Electronic Engineering，Tsinghua University，Beijing 100084，China
^4.Aerospace Information Research Institute，Chinese Academy of Sciences，Beijing 100094，China
^5.Key Laboratory of Network Information System Technology，Chinese Academy of Sciences，Beijing 100190，China

Received:2025-11-07 Revised:2025-12-03 Accepted:2026-01-04 Online:2026-01-16 Published:2026-01-15
Contact: Zhizhuo JIANG E-mail:jiangzhizhuo@nankai.edu.cn
Supported by:
National Natural Science Foundation of China(62401335)

摘要/Abstract

摘要：

低空遥感场景下的船舶目标关联技术是推动海上监测及其智能感知系统发展的重要支撑。然而，现有方法多直接迁移行人或车辆重识别算法，难以有效应对船舶图像中的特有问题，尤其是因无人机等低空遥感平台成像视角多变导致的类内差异大、局部信息缺失等挑战，这往往导致同一船舶目标出现异常样本，极大影响关联精度。为了解决上述问题，提出一种基于多尺度相关性Transformer网络的船舶目标关联算法。与现有方法不同，该算法能够同时对输入图像集合进行多尺度显式的全局和局部相关性建模，且在模型训练时，不只依赖单幅图像的孤立特征进行学习，而是融合利用图像间的互补信息，抑制由类内差异或局部缺失引起的异常样本影响。具体而言，设计了全局关联模块，构建完整输入图像间的全局相似性关联矩阵，基于图像间一致性进行特征聚合，实现显式全局相关性建模；同时设计了局部关联模块，构建一个基于动态更新机制的记忆库，挖掘并对齐正样本的局部特征，通过上下文相似性提取局部相关性。在4个公开实测数据集上的实验结果表明：所提方法在目标关联准确度的性能指标上均优于现有主流方法，验证了其有效性、鲁棒性与工程实用潜力。

关键词: 低空遥感, 船舶目标关联, 相关性建模, 特征增强, 特征融合

Abstract:

Vessel target association under low-altitude remote-sensing scenarios is a crucial component supporting the development of maritime monitoring and intelligent perception systems. However， most existing approaches directly migrate pedestrian or vehicle re-identification algorithms， which fail to effectively handle the unique challenges of vessel imagery-particularly the large intra-class variations and local information loss caused by the diverse imaging perspectives of UAV-based low-altitude imaging platforms. These issues often lead to outlier samples within the same vessel identity， significantly degrading association accuracy. To overcome these limitations， this paper proposes a Multi-scale Correlation-aware Transformer network （MCFormer） for vessel target association. Unlike conventional methods that learn from isolated features of single images， MCFormer performs explicit global and local correlation modeling across multi-scale image collections， leveraging inter-image complementary information to suppress the effects of intra-identity variance and partial occlusion. Specifically， a Global Correlation Module （GCM） constructs a comprehensive inter-image similarity matrix to achieve explicit global correlation modeling through consistency-based feature aggregation， while a Local Correlation Module （LCM） builds a dynamically updated memory bank to mine and align positive local features， capturing fine-grained contextual correlations. Experiments conducted on four publicly available real-world datasets demonstrate that the proposed method consistently outperforms mainstream method in performance metrics related to target association accuracy， verifying its effectiveness， robustness， and engineering potential.

Key words: low-altitude remote sensing, vessel target association, correlation modeling, feature enhancement, feature fusion

中图分类号:

V279

刘云鹤, 姜智卓, 刘瑜, 孙显, 何友. 基于多视角低空遥感图像的船舶目标关联[J]. 航空学报, 2026, 47(10): 533060.

Yunhe LIU, Zhizhuo JIANG, Yu LIU, Xian SUN, You HE. Vessel target association based on multi-view low-altitude remote sensing images[J]. Acta Aeronautica et Astronautica Sinica, 2026, 47(10): 533060.

图/表 15

图 1

图 2

表1

表2

表3

表4

表5

图 3

表6

表7

图 4

图 5

表8

表9

表10

参考文献 36

[1]	JIA Z Y， ZHU Y A， WU Q H， et al. Remote ID based UAV collision avoidance optimization for low-altitude airspace safety［J］. Chinese Journal of Aeronautics， 2025： 103841.
[2]	REN K， DING L， WAN M J， et al. Target localization based on cross-view matching between UAV and satellite［J］. Chinese Journal of Aeronautics， 2022， 35（9）： 333-341.
[3]	JIN R J， WANG K， LI Z， et al. SAA-O2DINO： Oriented object detection transformer with improved denoising anchor boxes and shape-adaptive assigner［J］. Chinese Journal of Aeronautics， 2025： 103782.
[4]	WANG Y， LI H G， LI X J， et al. UAV image target localization method based on outlier filter and frame buffer［J］. Chinese Journal of Aeronautics， 2024， 37（7）： 375-390.
[5]	WEN Z D， WU J H， LV Y F， et al. Cross-modality vessel re-identification with deep alignment decomposition network［J］. IEEE Transactions on Multimedia， 2024， 26： 10318-10330.
[6]	ZHANG Q， YAN Y M， GAO L， et al. A third-modality collaborative learning approach for visible-infrared vessel reidentification［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2024， 17： 19035-19047.
[7]	LU Z， SUN L G， LV P， et al. A new large-scale dataset for marine vessel re-identification based on Swin transformer network in ocean surveillance scenario［J］. IET Computer Vision， 2025， 19（1）： e70007.
[8]	熊振宇，崔亚奇，董凯，等. 基于属性引导的多源遥感舰船目标可解释融合关联网络［J］. 航空学报， 2023， 44（22）： 627476.
	XIONG Z Y， CUI Y Q， DONG K， et al. Interpretable fusion association network for multi-source remote sensing ship target based on attribute guidance［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（22）： 627476 （in Chinese）.
[9]	LU F， LAN X Y， ZHANG L J， et al. CricaVPR： Cross-image correlation-aware representation learning for visual place recognition［C］∥2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2024： 16772-16782.
[10]	ZHANG B， YUAN J K， LI B P， et al. Learning cross-image object semantic relation in transformer for few-shot fine-grained image classification［C］∥Proceedings of the 30th ACM International Conference on Multimedia. New York： ACM， 2022： 2135-2144.
[11]	HAN X R， CHEN Z Q， WANG R X， et al. Joint label refinement and contrastive learning with hybrid memory for unsupervised marine object re-identification［C］∥Proceedings of the 3rd ACM International Conference on Multimedia in Asia. New York： ACM， 2022.
[12]	WANG H， LI S Y， YANG J， et al. Cross-modal ship re-identification via optical and SAR imagery： A novel dataset and method［DB/OL］. arXiv preprint： 2506.22027， 2025.
[13]	DOU W H， ZHU L M， WANG Y， et al. Research on key technology of ship re-identification based on the USV-UAV collaboration［J］. Drones， 2023， 7（9）： 590.
[14]	SPAGNOLO P， FILIERI F， DISTANTE C， et al. A new annotated dataset for boat detection and re-identification［C］∥2019 16th IEEE International Conference on Advanced Video and Signal Based Surveillance （AVSS）. Piscataway： IEEE Press， 2019： 1-7.
[15]	ZENG G M， WANG R J， YU W N， et al. A transfer learning-based approach to maritime warships re-identification［J］. Engineering Applications of Artificial Intelligence， 2023， 125： 106696.
[16]	ZHANG Q， ZHANG M X， LIU J H， et al. Unsupervised maritime vessel re-identification with multi-level contrastive learning［J］. IEEE Transactions on Intelligent Transportation Systems， 2023， 24（5）： 5406-5418.
[17]	XU C A， GAO L， LIU Y， et al. CMShipReID： A cross-modality ship dataset for the reidentification task［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2025， 18： 10503-10513.
[18]	LI Y P， LIU Y Z， ZHANG H Y， et al. Occlusion-aware transformer with second-order attention for person re-identification［J］. IEEE Transactions on Image Processing， 2024， 33： 3200-3211.
[19]	LI Y P， MIAO D Q， ZHANG H Y， et al. Multi-granularity cross transformer network for person re-identification［J］. Pattern Recognition， 2024， 150： 110362.
[20]	ZHENG X T， HUANG X H， JI C， et al. Multi-modal person re-identification based on transformer relational regularization［J］. Information Fusion， 2024， 103： 102128.
[21]	王潇，刘贞报. 基于多层多向Transformer的红外弱小目标检测［J］. 航空学报， 2024， 45（14）： 629490.
	WANG X， LIU Z B. Infrared small target detection based on multi-layer multi-direction transformer［J］. Acta Aeronautica et Astronautica Sinica， 2024， 45（14）： 629490 （in Chinese）.
[22]	刘芳，卢晨阳，路言，等. 基于自适应模板更新的Transformer无人机目标跟踪算法［J］. 航空学报， 2025， 46（16）： 331687.
	LIU F， LU C Y， LU Y， et al. Adaptive template update-based Transformer algorithm for UAV target tracking［J］. Acta Aeronautica et Astronautica Sinica， 2025， 46（16）： 331687 （in Chinese）.
[23]	HE S T， LUO H， WANG P C， et al. TransReID： Transformer-based object re-identification［C］∥2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2022： 14993-15002.
[24]	NI H， LI Y K， GAO L L， et al. Part-aware transformer for generalizable person re-identification［C］∥2023 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2024： 11246-11255.
[25]	WANG H C， SHEN J Y， LIU Y T， et al. NFormer： Robust person re-identification with neighbor transformer［C］∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 7287-7297.
[26]	ZHANG Z， ZHANG H J， LIU S. Person re-identification using heterogeneous local graph attention networks［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 12131-12140.
[27]	ZHU H W， KE W J， LI D， et al. Dual cross-attention learning for fine-grained visual categorization and object re-identification［C］∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 4682-4692.
[28]	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16x16 words： Transformers for image recognition at scale［DB/OL］. arXiv Preprint： 2010.11929， 2020.
[29]	SUN Y F， ZHENG L， YANG Y， et al. Beyond part models： Person retrieval with refined part pooling （and a strong convolutional baseline）［C］∥Computer Vision – ECCV 2018. Cham： Springer， 2018： 501-518.
[30]	WANG T， LIU H， SONG P H， et al. Pose-guided feature disentangling for occluded person re-identification based on transformer［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2022， 36（3）： 2540-2549.
[31]	CHEN G Y， GU T P， LU J W， et al. Person re-identification via attention pyramid［J］. IEEE Transactions on Image Processing， 2021， 30： 7663-7676.
[32]	DONG N， YAN S L， TANG H， et al. Multi-view information integration and propagation for occluded person re-identification［J］. Information Fusion， 2024， 104： 102201.
[33]	XU H， HUANG L H， CHEN Y T， et al. Unsupervised military-civilian cross-domain vessel re-identification using improved momentum contrast learning［C］∥2024 International Conference on New Trends in Computational Intelligence （NTCI）. Piscataway： IEEE Press， 2024： 106-110.
[34]	ARAIN T ALI， ZHANG P C， MENG Q， et al. Swin transformer with attention mechanism： A novel framework for person re-identification［J］. Pattern Analysis and Applications， 2025， 28（2）： 95.
[35]	WEN Y D， ZHANG K P， LI Z F， et al. A discriminative feature learning approach for deep face recognition［C］∥Computer Vision-ECCV 2016. Cham： Springer， 2016： 499-515.
[36]	DAI Z Z， WANG G Y， YUAN W H， et al. Cluster contrast for unsupervised person re-identification［C］∥Computer Vision-ACCV 2022. Cham： Springer， 2023： 319-337.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

数据集	身份数量	图像数量
VesselReID	1 248	30 587
Warships-ReID	163	4 780
BoatRe-ID	107	5 523
AirRGBShipReID	138	3 209

方法	R1/%	R5/%	R10/%	mAP/%
BNN^［29］	63.8	85.3	90.9	50.7
PAT^［24］	66.2	85.7	90.9	53.9
MCL^［16］	63.9	82.1	88.9	45.3
Trans-Reid^［23］	68.2	86.3	91.1	58.7
PFD-Net^［30］	66.1	84.9	90.2	49.2
AP-Net^［31］	62.6	83.3	89.6	50.1
Tran-Aligned^［15］	64.3	82.8	89.4	51.8
MVIIP^［32］	71.2	87.3	91.7	60.8
IMCL^［33］	64.1	82.6	89.5	52.4
SwinReID^［34］	70.7	86.5	92.8	62.3
SwinTransReID^［7］	71.6	89.2	93.3	59.9
MCFormer	72.8	88.9	93.1	63.4

方法	R1/%	R5/%	R10/%	mAP/%
BNN^［29］	87.5	95.8	95.8	70.3
PAT^［24］	91.5	96.3	96.6	75.2
MCL^［16］	86.1	91.1	91.9	56.9
Trans-Reid^［23］	92.1	97.4	97.4	77.1
PFD-Net^［30］	90.5	96.5	96.5	73.9
AP-Net^［31］	82.9	97.1	97.1	53.2
Tran-Aligned^［15］	88.6	97.1	97.1	62.5
MVIIP^［32］	94.2	97.4	97.4	82.7
IMCL^［33］	88.3	95.4	97.1	66.4
SwinReID^［34］	93.7	97.1	97.4	86.6
SwinTransReID^［7］	95.0	98.1	98.1	84.7
MCFormer	96.1	98.1	98.1	88.4

方法	R1/%	mAP/%
BNN^［29］	96.5	89.6
PAT^［24］	97.9	90.6
MCL^［16］	85.0	63.6
Trans-Reid^［23］	98.2	92.1
PFD-Net^［30］	96.3	90.3
AP-Net^［31］	95.9	89.2
Tran-Aligned^［15］	97.5	91.1
MVIIP^［32］	98.4	92.6
IMCL^［33］	95.2	90.5
SwinReID^［34］	98.5	93.2
SwinTransReID^［7］	98.5	93.1
MCFormer	98.8	93.5

方法	R1/%	mAP/%
BNN^［29］	85.6	64.2
PAT^［24］	91.2	72.7
MCL^［16］	81.8	55.4
Trans-Reid^［23］	90.7	72.1
PFD-Net^［30］	88.2	68.4
AP-Net^［31］	86.2	64.7
Tran-Aligned^［15］	88.4	67.9
MVIIP^［32］	91.8	72.7
IMCL^［33］	87.3	66.5
SwinReID^［34］	91.5	72.5
SwinTransReID^［7］	91.8	72.5
MCFormer	92.8	73.2

基于多视角低空遥感图像的船舶目标关联

Vessel target association based on multi-view low-altitude remote sensing images

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 36

相关文章 15

编辑推荐

Metrics

本文评价

类型	方法	R1/%	mAP/%	Lat/ms	FPS/张
CNN Based	BNN	63.8	50.7	4.9	203.7
	Tran-Aligned	64.3	51.8	6.8	147.1
	MVIIP	71.2	60.8	5.7	175.2
Tansf-ormer Based	Trans-Reid	68.2	58.7	13.6	73.6
	PAT	66.2	53.9	17.6	56.8
	SwinReID	70.7	62.3	16.6	60.2
	SwinTransReID	71.6	59.9	16.3	61.4
本文方法	MCFormer	72.8	63.4	19.2	52.1
	MCFormer*	71.5	62.5	15.3	65.3
	MCFormer+	70.5	60.9	5.2	190.8

模型配置	VesselReID		Warships-ReID
模型配置	R1/%	mAP/%	R1/%	mAP/%
Baseline	66.7	54.5	91.7	77.2
Baseline+GCM	70.2	62.2	95.8	87.3
Baseline+LCM	70.3	57.0	92.9	78.2
完整MCFormer	72.8	63.4	96.1	88.4

损失函数	VesselReID		Warships-ReID
损失函数	R1/%	mAP/%	R1/%	mAP/%
Baseline	66.7	54.5	91.7	77.2
+标准中心损失	68.2	55.8	92.1	77.5
+标准聚类损失	64.5	52.7	89.9	76.1
+局部聚类损失	70.3	57.0	92.9	78.2

局部划分数	VesselReID		Warships-ReID
局部划分数	R1/%	mAP/%	R1/%	mAP/%
2	70.9	61.6	94.8	87.1
3	72.8	63.4	96.1	88.4
4	71.6	62.5	95.6	87.8
5	71.6	62.7	95.6	87.9

融合策略	VesselReID		Warships-ReID
融合策略	R1/%	mAP/%	R1/%	mAP/%
直接相加	69.2	59.5	93.3	84.5
拼接后线性投影	70.1	61.0	95.8	86.2
多尺度通道注意力	72.8	63.4	96.1	88.4

[1]	项子健, 麻震宇, 杨希祥. 基于深度学习的复合材料结构性能参数反演[J]. 航空学报, 2025, 46(24): 231877-231877.
[2]	史宝全, 周嘉明, 张文东, 陈先民, 贺谦. 融合频域增强与线性注意力机制的疲劳裂纹分割与量化网络[J]. 航空学报, 2025, 46(21): 532356-532356.
[3]	孙彬, 游航, 李文博, 刘祥瑞, 马佳义. 双光载荷图像融合及其在低空遥感中的应用[J]. 航空学报, 2025, 46(11): 531343-531343.
[4]	刘延芳, 佘佳宇, 袁秋帆, 周芮, 齐乃明. 无人机遥感图像实时小目标检测方法[J]. 航空学报, 2024, 45(14): 630119-630119.
[5]	于傲泽, 魏维伟, 王平, 张金强, 柯文雄. 基于分块复合注意力的无人机小目标检测算法[J]. 航空学报, 2024, 45(14): 629148-629148.
[6]	奉志强, 谢志军, 包正伟, 陈科伟. 基于改进YOLOv5的无人机实时密集小目标检测算法[J]. 航空学报, 2023, 44(7): 327106-327106.
[7]	冒国韬, 邓天民, 于楠晶. 基于多尺度分割注意力的无人机航拍图像目标检测算法[J]. 航空学报, 2023, 44(5): 326738-326738.
[8]	姚俞成, 李旭, 徐启敏, 孔栋. 基于特征增强和校准的航拍车辆实例分割方法[J]. 航空学报, 2023, 44(24): 328397-328397.
[9]	张毅, 张焱, 张宇, 张勇, 刘荻. 基于多级特征增强融合的红外飞机目标检测方法[J]. 航空学报, 2023, 44(22): 629220-629220.
[10]	李晓航, 周建江. 基于自适应记忆长度的多尺度模态融合网络[J]. 航空学报, 2023, 44(22): 628977-628977.
[11]	薛远亮, 金国栋, 谭力宁, 许剑锟. 基于多尺度融合的自适应无人机目标跟踪算法[J]. 航空学报, 2023, 44(1): 326107-326107.
[12]	刘芳, 孙亚楠. 基于自适应融合网络的无人机目标跟踪算法[J]. 航空学报, 2022, 43(7): 325522-325522.
[13]	刘芳, 韩笑. 基于多尺度深度学习的自适应航拍目标检测[J]. 航空学报, 2022, 43(5): 325270-325270.
[14]	刘传凯, 李东升, 谢剑锋, 雷俊雄, 袁春强, 何锡明. 多特征融合的月面采样遥操作视觉定位方法[J]. 航空学报, 2022, 43(12): 326296-326296.
[15]	师彬彬, 陈哲涵. 基于图像特征融合的粉末床缺陷检测方法[J]. 航空学报, 2021, 42(10): 524430-524430.