基于属性引导的多源遥感舰船目标可解释融合关联网络

doi:10.7527/S1000-6893.2022.27476

封面文章

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于属性引导的多源遥感舰船目标可解释融合关联网络

熊振宇(), 崔亚奇, 董凯, 李孟洋, 熊伟

海军航空大学信息融合研究所，烟台　264001

收稿日期:2022-05-20 修回日期:2022-06-21 接受日期:2022-07-29 出版日期:2022-08-04 发布日期:2022-08-03
通讯作者: 熊振宇 E-mail:x_zhen_yu@163.com
基金资助:
国家青年科学基金(62001499);国家自然科学基金(61790554)

Interpretable fusion association network for multi-source remote sensing ship target based on attribute guidance

Zhenyu XIONG(), Yaqi CUI, Kai DONG, Mengyang LI, Wei XIONG

Institute of Information Fusion，Naval Aviation University，Yantai 　264001，China

Received:2022-05-20 Revised:2022-06-21 Accepted:2022-07-29 Online:2022-08-04 Published:2022-08-03
Contact: Zhenyu XIONG E-mail:x_zhen_yu@163.com
Supported by:
National Science Fund for Young Scholars(62001499);National Natural Science Foundation of China(61790554)

摘要/Abstract

摘要：

多源遥感舰船目标关联作为前期大范围预警探测的重要手段为海上态势研判提供重要情报支撑，现有关联算法面临关联结果可解释性差，异构特征难度量，多源目标关联精度低等问题。提出了一种基于属性引导的可解释融合网络用于解决多源遥感舰船目标的关联问题。首先，提出全局关联模块，利用跨模态度量损失函数将图像特征映射到共同空间中度量，用于解决多源图像内容差异大，特征难对齐问题。然后，提出包含多头注意力模型和属性监督函数的可解释模块，提升关联精度并输出可解释的关联结果。其中多头注意力模型让网络关注到舰船目标显著性区域，属性监督函数引导模型关注舰船图像中判别性属性特征，利用属性特征帮助网络解释输出关联结果的决策依据，并以量化的形式可视化属性特征对关联结果的贡献度。最后，利用知识蒸馏的思想减小全局关联模块和可解释模块输出特征距离的差异，使得网络实现精准关联并提供可解释的关联结果。在实验部分，构建了首个多源遥感舰船目标数据集，在该数据集上的测试结果显示本文算法不仅在关联精度上优于现有算法，同时能够为关联过程提供清晰和直观的可视化关联结果。

关键词: 多源目标, 遥感图像, 关联学习, 注意力模型, 可解释特征

Abstract:

Multi-source remote sensing ship target correlation， as an important means for early-stage large-scale early warning and detection， provides important information support for maritime situation research and judgment. Existing association algorithms face the problems of poor interpretability of association results， difficulty in measuring heterogeneous features and low accuracy of multi-source target association. In this paper， an interpretable fusion network based on attribute guidance is proposed to solve the problem of ship target association in multi-source remote sensing. Firstly， to solve the problem of large difference in multi-source image content and difficulty in feature alignment， a global association module is proposed， which uses the cross modal measurement loss function to map image features into the common space. Then， an interpretable module including the multi head attention model and the attribute supervision function is proposed to improve the correlation accuracy and output interpretable correlation results. The multi-head attention model makes the network pay attention to the salient region of ship targets， and the attribute supervision function enables the model to pay attention to the discriminant attribute features in ship images. Finally， the idea of knowledge distillation is used to reduce the difference between the output feature distance of the global correlation module and the interpretable module， so that the network can realize accurate correlation and provide interpretable correlation results. In the experimental part， this paper constructs the first multi-source remote sensing ship target data set. The test results on this data set show that this algorithm is not only better than the existing algorithms in correlation accuracy， but also can provide clear and intuitive visual correlation results for the correlation process.

Key words: multi-source ship target, remote sensing image, association learning, attention model, interpretable feature learning

中图分类号:

V475.9

熊振宇, 崔亚奇, 董凯, 李孟洋, 熊伟. 基于属性引导的多源遥感舰船目标可解释融合关联网络[J]. 航空学报, 2023, 44(22): 627476-627476.

Zhenyu XIONG, Yaqi CUI, Kai DONG, Mengyang LI, Wei XIONG. Interpretable fusion association network for multi-source remote sensing ship target based on attribute guidance[J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(22): 627476-627476.

图/表 12

图 1

图 2

图 3

表 1

图 4

表 2

表 3

图 5

图 6

图 7

表 4

表 5

参考文献 27

1	李红光，于若男，丁文锐. 基于深度学习的小目标检测研究进展［J］. 航空学报， 2021， 42（7）： 024691.
	LI H G， YU R N， DING W R. Research development of small object traching based on deep learning［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（7）： 024691 （in Chinese）.
2	WANG N， LI B， WEI X X， et al. Ship detection in spaceborne infrared image based on lightweight CNN and multisource feature cascade decision［J］. IEEE Transactions on Geoscience and Remote Sensing， 2021， 59（5）： 4324-4339.
3	YOU Y N， RAN B H， MENG G， et al. OPD-net： Prow detection based on feature enhancement and improved regression model in optical remote sensing imagery［J］. IEEE Transactions on Geoscience and Remote Sensing， 2021， 59（7）： 6121-6137.
4	LIU Z K， YUAN L， WENG L B， et al. A high resolution optical satellite image dataset for ship recognition and some new baselines［C］∥ Proceedings of the 6th International Conference on Pattern Recognition Applications and Methods. SCITEPRESS - Science and Technology Publications， 2017： 324–331.
5	XIONG W， XIONG Z Y， CUI Y Q. An explainable attention network for fine-grained ship classification using remote-sensing images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 1-14.
6	LI Y S， ZHANG Y J， HUANG X， et al. Learning source-invariant deep hashing convolutional neural networks for cross-source remote sensing image retrieval［J］. IEEE Transactions on Geoscience and Remote Sensing， 2018， 56（11）： 6521-6536.
7	XIONG W， XIONG Z Y， CUI Y Q， et al. A discriminative distillation network for cross-source remote sensing image retrieval［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2020， 13： 1234-1247.
8	XIONG W， LV Y F， ZHANG X H， et al. Learning to translate for cross-source remote sensing image retrieval［J］. IEEE Transactions on Geoscience and Remote Sensing， 2020， 58（7）： 4860-4874.
9	杨曦，张鑫，郭浩远，等. 基于不变特征的多源遥感图像舰船目标检测算法［J］. 电子学报， 2022， 50（4）： 887-899.
	YANG X， ZHANG X， GUO H Y， et al. Invariant features based ship detection model for multi-source remote sensing images［J］. Acta Electronica Sinica， 2022， 50（4）： 887-899 （in Chinese）.
10	YANG X， ZHANG X， WANG N N， et al. A robust one-stage detector for multiscale ship detection with complex background in massive SAR images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 1-12.
11	YANG X， WANG Z H， ZHAO J Y， et al. FG-GAN： A fine-grained generative adversarial network for unsupervised SAR-to-optical image translation［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 1-11.
12	谭大宁，刘瑜，姚力波，等. 基于视觉注意力机制的多源遥感图像语义分割［J］. 信号处理， 2022， 38（6）： 1180-1191.
	TAN D N， LIU Y， YAO L B， et al. Semantic segmentation of multi-source remote sensing images based on visual attention mechanism［J］. Journal of Signal Processing， 2022， 38（6）： 1180-1191 （in Chinese）.
13	SELVARAJU R R， COGSWELL M， DAS A， et al. Grad-CAM： Visual explanations from deep networks via gradient-based localization［C］∥ 2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 618-626.
14	CHENG G， HAN J W， LU X Q. Remote sensing image scene classification： Benchmark and state of the art［J］. Proceedings of the IEEE， 2017， 105（10）： 1865-1883.
15	ZHOU W X， NEWSAM S， LI C M， et al. PatternNet： A benchmark dataset for performance evaluation of remote sensing image retrieval［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2018， 145： 197-209.
16	SHAO Z F， YANG K， ZHOU W X. Performance evaluation of single-label and multi-label remote sensing image retrieval using a dense labeling dataset［J］. Remote Sensing， 2018， 10（6）： 964.
17	LU X Q， WANG B Q， ZHENG X T， et al. Exploring models and data for remote sensing image caption generation［J］. IEEE Transactions on Geoscience and Remote Sensing， 2018， 56（4）： 2183-2195.
18	GUO M， YUAN Y， LU X Q. Deep cross-modal retrieval for remote sensing image and audio［C］∥ 2018 10th IAPR Workshop on Pattern Recognition in Remote Sensing （PRRS）. Piscataway： IEEE Press， 2018： 1-7.
19	XIONG W， XIONG Z Y， ZHANG Y， et al. A deep cross-modality hashing network for SAR and optical remote sensing images retrieval［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2020， 13： 5284-5296.
20	ZHANG X H， LV Y F， YAO L B， et al. A new benchmark and an attribute-guided multilevel feature representation network for fine-grained ship classification in optical remote sensing images［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2020， 13： 1271-1285.
21	DENG J， DONG W， SOCHER R， et al. ImageNet： A large-scale hierarchical image database［C］∥ 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2009： 248-255.
22	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］∥ 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2016： 770-778.
23	MAATEN L， HINTON G. Visualizing data using t-SNE［J］. Journal of Machine Learning Research， 2008； 9（8）： 2579–2605.
24	ZHANG D Q， LI W J. Large-scale supervised multimodal hashing with semantic correlation maximization［C］∥Proceedings of the AAAI Conference on Artificial Intelligence， 2014.
25	XU X， SHEN F M， YANG Y， et al. Learning discriminative binary codes for large-scale cross-modal retrieval［J］. IEEE Transactions on Image Processing， 2017， 26（5）： 2494-2507.
26	JIANG Q Y， LI W J. Deep cross-modal hashing［C］∥ 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 3270-3278.
27	CAO Y， LONG M S， WANG J M， et al. Deep visual-semantic hashing for cross-modal retrieval［C］∥ Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 1445-1454.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

数据模态	卫星传感器	空间分辨率/m	光谱通道数
全色图像	高分2号	1	1
多光谱图像	高分2号	4	4

关联任务	实验设置	mAP	P@1	P@10	P@20	P@50
PAN->MUL	全局关联模块	0.809 4	0.796 7	0.811 3	0.814 7	0.834 3
	可解释模块（无多头注意力）	0.689 7	0.678 2	0.687 8	0.696 6	0.701 3
	可解释模块	0.714 5	0.706 4	0.716 5	0.735 5	0.713 9
	全局关联模块+可解释模块	0.872 5	0.850 8	0.871 4	0.890 1	0.896 7
MUL->PAN	全局关联模块	0.806 4	0.786 9	0.802 3	0.809 6	0.812 4
	可解释模块（无多头注意力）	0.664 9	0.643 6	0.668 5	0.684 2	0.699 7
	可解释模块	0.701 8	0.700 7	0.713 4	0.723 8	0.699 8
	全局关联模块+可解释模块	0.865 4	0.847 7	0.847 2	0.875 1	0.882 5

关联任务	骨干网络	实验设置	mAP	P@1	P@10	P@20	P@50
PAN->MUL	ResNet18	全局关联模块	0.856 5	0.805 9	0.826 9	0.851 4	0.871 1
	ResNet18	可解释模块	0.854 8	0.808 7	0.824 7	0.858 7	0.875 4
	ResNet50	全局关联模块	0.879 8	0.852 4	0.878 6	0.889 7	0.893 4
	ResNet50	可解释模块	0.872 5	0.850 8	0.871 4	0.890 1	0.896 7
MUL->PAN	ResNet18	全局关联模块	0.841 7	0.838 4	0.847 6	0.857 9	0.859 6
	ResNet18	可解释模块	0.840 1	0.835 4	0.843 8	0.854 5	0.855 7
	ResNet50	全局关联模块	0.864 7	0.841 7	0.849 3	0.875 7	0.883 8
	ResNet50	可解释模块	0.865 4	0.847 7	0.847 2	0.875 1	0.882 5

关联任务	关联算法	mAP
PAN->MUL	DCH^［24］	0.195 6
	SCM^［25］	0.324 2
	DCMH^［26］	0.709 1
	DVSH^［27］	0.712 5
	DCMHN_50^［19］	0.735 8
	SIDHCNNs^［6］	0.801 5
	Distillation_50^［7］	0.805 4
	本文算法	0.872 5
MUL->PAN	DCH^［24］	0.195 7
	SCM^［25］	0.328 6
	DCMH^［26］	0.704 5
	DVSH^［27］	0.720 7
	DCMHN_50^［19］	0.738 1
	SIDHCNNs^［6］	0.809 3
	Distillation_50^［7］	0.811 6
	本文算法	0.865 4

关联任务	关联算法	训练时间/min	测试时间/s
PAN->MUL	SCM^［25］	26.5	76.6
	DVSH^［27］	2.5	3.7
	Distillation_50^［7］	9.6	6.1
	本文算法	7.5	5.8
MUL->PAN	SCM^［25］	24.1	76.2
	DVSH^［27］	1.7	3.6
	Distillation_50^［7］	7.5	5.9
	本文算法	5.6	5.6

基于属性引导的多源遥感舰船目标可解释融合关联网络

Interpretable fusion association network for multi-source remote sensing ship target based on attribute guidance

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 27

相关文章 4

编辑推荐

Metrics

本文评价

[1]	王子玲, 熊振宇, 顾祥岐. 可见光与SAR多源遥感图像关联学习算法[J]. 航空学报, 2022, 43(S1): 727239-727239.
[2]	杨俊俐, 姜志国, 周全, 张浩鹏, 史骏. 基于条件随机场的遥感图像语义标注[J]. 航空学报, 2015, 36(9): 3069-3081.
[3]	孟钢, 贺杰, 鲍莉, 王建涛, 颜孙震, 许金萍. 基于遥感图像分块直线特征检测的机场跑道检测方法[J]. 航空学报, 2014, 35(7): 1957-1965.
[4]	曹琼;郑红;李行善. 一种基于纹理特征的卫星遥感图像云探测方法[J]. 航空学报, 2007, 28(3): 661-666.