AIS和光学遥感图像引导的星载SAR舰船目标识别网络

doi:10.7527/S1000-6893.2023.28672

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 |

AIS和光学遥感图像引导的星载SAR舰船目标识别网络

王子玲¹, 熊振宇¹(), 杨璐铖², 杨蕊宁³, 黄林周⁴

^1.海军航空大学信息融合研究所，烟台 264001
^2.中国人民解放军 91033部队，青岛 266000
^3.重庆市勘测院，重庆 401120
^4.重庆市地理信息和遥感应用中心，重庆 401120

收稿日期:2023-03-09 修回日期:2023-04-12 接受日期:2023-05-30 出版日期:2023-06-02 发布日期:2023-05-31
通讯作者: 熊振宇 E-mail:x_zhen_yu@163.com
基金资助:
青年科学基金(62001499);国家自然科学基金(61790554)

Spaceborne SAR ship target recognition network guided by AIS and optical remote sensing images

Ziling WANG¹, Zhenyu XIONG¹(), Lucheng YANG², Ruining YANG³, Linzhou HUANG⁴

^1.Institute of Information Fusion，Naval Aviation University，Yantai 264001，China
^2.No. 91033 Unit of the People’s Liberation Army of China，Qingdao 266000，China
^3.Chongqing Survey Institute，Chongqing 401120，China
^4.Chongqing Geomatics and Remote Sensing Center，Chongqing 401120，China

Received:2023-03-09 Revised:2023-04-12 Accepted:2023-05-30 Online:2023-06-02 Published:2023-05-31
Contact: Zhenyu XIONG E-mail:x_zhen_yu@163.com
Supported by:
National Science Fund for Young Scholars(62001499);National Natural Science Foundation of China(61790554)

摘要/Abstract

摘要：

星载SAR作为全天时、全天候的感知手段广泛应用于海洋目标识别任务中，由于SAR图像分辨率低、难解译、样本不均衡导致现有单一模态目标识别算法识别精度低。提出了一种AIS和光学遥感图像引导的星载SAR舰船目标识别网络，针对不同模态数据特征维度不同导致难度量问题，利用特征迁移模块在保留各自模态独有特征属性前提下将异构特征映射到共同的空间中度量；针对不同模态不同类别数据存在样本不均衡问题，利用异构特征对齐模块充分挖掘不同模态的互补信息，以细粒度的方式进一步对齐不同模态的异构特征，同时将各个模态的判别性特征作为先验信息迁移至SAR图像模态中。实验部分利用AIS历史数据和光学遥感数据集作为辅助信息，在2个公开的SAR图像舰船目标数据集中进行测试，实验结果表明所提算法通过迁移不同模态信息，有效提升了SAR图像舰船目标的识别准确率。

关键词: 多源目标, 遥感图像, 舰船目标识别, AIS数据, 异构特征

Abstract:

Spaceborne SAR is widely used in marine target recognition tasks as an all-season and all-weather sensing means. Due to the low resolution， difficult interpretation and uneven samples of SAR images， the existing single-mode target recognition algorithms have low recognition accuracy. In this paper， a spaceborne SAR ship target recognition network guided by AIS and optical remote sensing images is proposed. To overcome the difficulty caused by different feature dimensions of different modal data， the heterogeneous features are mapped into the common space measurement by using the feature migration module on the premise of preserving the unique feature attributes of each modal. For the problem of sample imbalance in different modes and different categories of data， the heterogeneous feature alignment module is used to fully mine the complementary information of different modes， further align the heterogeneous features of different modes in a fine-grained way， and migrate the discriminant features of each mode as a priori information to SAR image modes. In the experimental part， AIS historical data and optical remote sensing data set are used as auxiliary information on two public SAR image ship target data sets. The experimental results show that the network proposed can effectively improve the recognition accuracy of ship targets in SAR images by fusing different modal information.

Key words: multi-source ship target, remote sensing image, ship target recognition, AIS data, heterogeneous characteristic

中图分类号:

V475.9

王子玲, 熊振宇, 杨璐铖, 杨蕊宁, 黄林周. AIS和光学遥感图像引导的星载SAR舰船目标识别网络[J]. 航空学报, 2024, 45(2): 328672-328672.

Ziling WANG, Zhenyu XIONG, Lucheng YANG, Ruining YANG, Linzhou HUANG. Spaceborne SAR ship target recognition network guided by AIS and optical remote sensing images[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(2): 328672-328672.

图/表 8

图 1

表 1

AIS特征描述

特征符号	特征描述	特征定义
$f 1$	长	$L$
$f 2$	宽	$W$
$f 3$	周长（轮廓）	$2 × L + W$
$f 4$	面积（大小）	$L × W$
$f 5$	长宽比率	$L / W$
$f 6$	宽长比率	$W / L$
$f 7$	形状复杂度	$L + W 2 / L × W$
$f 8$	其他特征	$W 2 / L 2 + W 2$
$f 9$		$L - W / L + W$
$f 10$		$L / L + W$
$f 11$		$W / L + W$

表 1

图 2

表 2

表 3

消融实验

数据集	模型	$A R 1$	$A R 2$	$A R 3$	$A R 4$
OpenSARShip	$L Y$	54.31	62.57	61.87	57.34
	+ $L p$	60.21	71.54	72.36	66.33
	+ $L p$ + $L D 1$	65.87	75.88	74.38	67.81
	+ $L p$ + $L D 1$ + $L D 2$	66.78	78.17	77.23	68.54

FUSAR-Ship	$L Y$	62.36	68.58	40.11	61.93
	+ $L p$	70.23	71.36	55.86	71.69
	+ $L p$ + $L D 1$	74.18	75.75	60.23	75.69
	+ $L p$ + $L D 1$ + $L D 2$	76.82	80.69	63.88	79.63

表 3

图 3

图 4

表 4

参考文献 27

1	AKBARIZADEH G. A new statistical-based kurtosis wavelet energy feature for texture recognition of SAR images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2012， 50（11）： 4358-4368.
2	TIRANDAZ Z， AKBARIZADEH G. A two-phase algorithm based on kurtosis curvelet energy and unsupervised spectral regression for segmentation of SAR images［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2016， 9（3）： 1244-1264.
3	XING X W， JI K F， ZOU H X， et al. Ship classification in TerraSAR-X images with feature space based sparse representation［J］. IEEE Geoscience and Remote Sensing Letters， 2013， 10（6）： 1562-1566.
4	LIN H P， SONG S L， YANG J A. Ship classification based on MSHOG feature and task-driven dictionary learning with structured incoherent constraints in SAR images［J］. Remote Sensing， 2018， 10（2）： 190.
5	孙秀一，胡绍海，马晓乐. 基于无监督深度学习的红外与可见光图像融合［J］. 航空学报， 2022， 43（S1）： 726938.
	SUN X Y， HU S H， MA X L. Infrared and visible image fusion based on unsupervised deep learning［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（S1）： 726938 （in Chinese）.
6	李红光，于若男，丁文锐. 基于深度学习的小目标检测研究进展［J］. 航空学报， 2021， 42（7）： 024691.
	LI H G， YU R N， DING W R. Research development of small object traching based on deep learning［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（7）： 024691 （in Chinese）.
7	ZHANG T W， ZHANG X L， KE X， et al. HOG-ShipCLSNet： A novel deep learning network with HOG feature fusion for SAR ship classification［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 1-22.
8	HE J L， CHANG W L， WANG F P， et al. Group bilinear CNNs for dual-polarized SAR ship classification［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： 1-5.
9	ZHENG H， HU Z G， LIU J J， et al. MetaBoost： A novel heterogeneous DCNNs ensemble network with two-stage filtration for SAR ship classification［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： 1-5.
10	SALERNO E. Using low-resolution SAR scattering features for ship classification［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： 1-4.
11	ZHANG T W， ZHANG X L. Squeeze-and-excitation Laplacian pyramid network with dual-polarization feature fusion for ship classification in SAR images［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： 1-5.
12	XIONG W， XIONG Z Y， ZHANG Y， et al. A deep cross-modality hashing network for SAR and optical remote sensing images retrieval［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2020， 13： 5284-5296.
13	SUN Y X， FENG S S， YE Y M， et al. Multisensor fusion and explicit semantic preserving-based deep hashing for cross-modal remote sensing image retrieval［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 1-14.
14	LANG H T， WU S W， XU Y J. Ship classification in SAR images improved by AIS knowledge transfer［J］. IEEE Geoscience and Remote Sensing Letters， 2018， 15（3）： 439-443.
15	LANG H T， YANG G A， LI C N， et al. Multisource heterogeneous transfer learning via feature augmentation for ship classification in SAR imagery［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 1-14.
16	HOU X Y， AO W， SONG Q， et al. FUSAR-Ship： Building a high-resolution SAR-AIS matchup dataset of Gaofen-3 for ship detection and recognition［J］. Science China Information Sciences， 2020， 63（4）： 140303.
17	ZHAN J， ZHANG T F， YU Y. Multi-source heterogeneous data aggregation method based on adversarial domain adaptation［C］∥ 2021 China Automation Congress （CAC）. Piscataway： IEEE Press， 2022： 4856-4861.
18	RODGER M， GUIDA R. Classification-aided SAR and AIS data fusion for space-based maritime surveillance［J］. Remote Sensing， 2020， 13（1）： 104.
19	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［J］. 3rd International Conference on Learning Representations， ICLR 2015 - Conference Track Proceedings， 2015.
20	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］∥ 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2016： 770-778.
21	HUANG L Q， LIU B， LI B Y， et al. OpenSARShip： A dataset dedicated to sentinel-1 ship interpretation［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2018， 11（1）： 195-208.
22	MAATEN L， HINTON G. Visualizing data using t-SNE［J］. Journal of Machine Learning Research， 2008， 9（8）： 2579–2605.
23	HOFFMAN J， RODNER E， DONAHUE J， et al. Efficient learning of domain-invariant image representations［DB/OL］. arXiv preprint： 1301.3224， 2013.
24	LI W， DUAN L X， XU D， et al. Learning with augmented features for supervised and semi-supervised heterogeneous domain adaptation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2014， 36（6）： 1134-1148.
25	TSAI Y H H， YEH Y R， WANG Y C F. Learning cross-domain landmarks for heterogeneous domain adaptation［C］∥ 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2016： 5081-5090.
26	WANG C， MAHADEVAN S. Heterogeneous domain adaptation using manifold alignment［C］∥ Proceedings of the Twenty-Second International Joint Conference on Artificial Intelligence. New York： ACM， 2011： 1541-1546.
27	ESKANDAR G， MARSDEN R A， PANDIYAN P， et al. An unsupervised domain adaptive approach for multimodal 2D object detection in adverse weather conditions［C］∥ 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Piscataway： IEEE Press， 2022： 10865-10872.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

数据集	类别	训练	测试	累计
OpenSARShip	散货船	255	63	318
	货船	518	130	648
	集装箱船	448	112	560
	油船	175	43	218

FUSAR-Ship	散货船	1 281	320	1 601
	货船	1 311	327	1 638
	集装箱船	1 303	325	1 628
	油船	1 351	337	1 688

数据集	数据模态	模型	OA
OpenSARShip	SAR	VGG16^［19］	58.68
		Resnet18^［20］	60.47
		Resnet50^［20］	60.93
	+AIS	MMDT^［23］	45.39
		HFA^［24］	60.87
		CDLS^［25］	61.26
	+OPT	MMDT^［23］	64.98
		HFA^［24］	67.28
		CDLS^［25］	66.56
	+AIS+OPT	DAMA^［26］	64.93
		MUDAF^［27］	67.38
		本文算法	70.08
FUSAR-Ship	SAR	VGG16^［19］	64.38
		Resnet18^［20］	66.11
		Resnet50^［20］	66.92
	+AIS	MMDT^［23］	50.39
		HFA^［24］	66.58
		CDLS^［25］	67.89
	+OPT	MMDT^［23］	69.36
		HFA^［24］	70.75
		CDLS^［25］	70.94
	+AIS+OPT	DAMA^［26］	69.26
		MUDAF^［27］	70.06
		本文算法	74.09

[1]	熊振宇, 崔亚奇, 董凯, 李孟洋, 熊伟. 基于属性引导的多源遥感舰船目标可解释融合关联网络[J]. 航空学报, 2023, 44(22): 627476-627476.
[2]	王子玲, 熊振宇, 顾祥岐. 可见光与SAR多源遥感图像关联学习算法[J]. 航空学报, 2022, 43(S1): 727239-727239.
[3]	杨俊俐, 姜志国, 周全, 张浩鹏, 史骏. 基于条件随机场的遥感图像语义标注[J]. 航空学报, 2015, 36(9): 3069-3081.
[4]	孟钢, 贺杰, 鲍莉, 王建涛, 颜孙震, 许金萍. 基于遥感图像分块直线特征检测的机场跑道检测方法[J]. 航空学报, 2014, 35(7): 1957-1965.
[5]	曹琼;郑红;李行善. 一种基于纹理特征的卫星遥感图像云探测方法[J]. 航空学报, 2007, 28(3): 661-666.

AIS和光学遥感图像引导的星载SAR舰船目标识别网络

Spaceborne SAR ship target recognition network guided by AIS and optical remote sensing images

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 27

相关文章 5

编辑推荐

Metrics

本文评价