基于多模型协同的舰船目标检测

doi:10.7527/S1000-6893.2024.30241

弱小目标检测与跟踪专栏

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于多模型协同的舰船目标检测

肖欣林, 施伟超, 郑向涛(), 高跃明, 卢孝强

福州大学物理与信息工程学院，福州 350108

收稿日期:2024-01-26 修回日期:2024-03-03 接受日期:2024-03-26 出版日期:2024-07-25 发布日期:2024-04-10
通讯作者: 郑向涛 E-mail:xiangtaoz@gmail.com
基金资助:
国家自然科学基金项目(62271484);国家杰出青年基金(61925112);陕西省重点研发计划(2023-YBGY-225)

Multiple models collaboration for ship detection

Xinlin XIAO, Weichao SHI, Xiangtao ZHENG(), Yueming GAO, Xiaoqiang LU

College of Physics and Information Engineering，Fuzhou University，Fuzhou 350108，China

Received:2024-01-26 Revised:2024-03-03 Accepted:2024-03-26 Online:2024-07-25 Published:2024-04-10
Contact: Xiangtao ZHENG E-mail:xiangtaoz@gmail.com
Supported by:
National Natural Science Foundation of China(62271484);National Science Fund for Distinguished Young Scholars(61925112);The Key Research and Development Program of Shaanxi(2023-YBGY-225)

摘要/Abstract

摘要：

随着遥感成像技术的不断进步，遥感图像的舰船目标检测已成为确保海上运输安全和效率的关键手段，对海上交通、环境保护及国家安全至关重要。然而，由于舰船目标尺度差异大、背景复杂等问题，现有单一检测模型的方法过度依赖训练数据，无法适应尺度多变的舰船目标。提出了一种多模型协同训练的框架，利用多个已训练好的舰船检测模型作为辅助网络，通过知识迁移的方式辅助优化目标数据的主网络。首先，通过三元关系约束建立辅助网络与主网络间的分布知识传递；其次，采用软标签引导策略整合辅助网络中的标签知识，提高舰船检测的准确性。实验结果表明：相较于现有主流方法，所提方法在DOTA和xView数据集上展示了较好的性能，克服了单一模型的局限性，为遥感图像的目标检测提供了新的解决思路。

关键词: 舰船识别, 目标检测, 多尺度表达, 多模型协同, 知识融合

Abstract:

In the context of globalization， the importance of ship monitoring is becoming more and more prominent. With the continuous progress of the remote sensing imaging technology， ship detection has become a key means to ensure the safety and efficiency of maritime transportation， and is crucial for maritime transportation， environmental protection， and national security. However， due to the large difference in scales and complex background of ship targets， existing single detection model methods rely too heavily on training data and cannot adapt to ship targets with variable scales. In this paper， we propose a multiple models collaboration framework， in which multiple trained ship detection models are regarded as auxiliary network， and the main network training is optimized by knowledge migration. First， ternary relationship constraints are introduced to transfer knowledge between the auxiliary network and the main network. Then， a soft-label guidance strategy is proposed to further improve the accuracy of ship detection. The experimental results show that compared with the existing mainstream methods， the proposed method demonstrates better performance on DOTA and xView datasets， overcoming the limitation of a single model and providing a new solution idea for target detection in remote sensing images.

Key words: remote sensing, ship detection, multi-scale representation, multiple models collaboration, knowledge fusion

中图分类号:

肖欣林, 施伟超, 郑向涛, 高跃明, 卢孝强. 基于多模型协同的舰船目标检测[J]. 航空学报, 2024, 45(14): 630241-630241.

Xinlin XIAO, Weichao SHI, Xiangtao ZHENG, Yueming GAO, Xiaoqiang LU. Multiple models collaboration for ship detection[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(14): 630241-630241.

图/表 9

图1

图2

图3

表1

表2

表3

表4

表5

图4

参考文献 40

1	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks［C］∥ Proceedings of the 28th International Conference on Neural Information Processing Systems - Volume 1. New York： ACM， 2015： 91–99.
2	ZHANG Y Y， LU T W. RecFRCN： Few-shot object detection with recalibrated faster R-CNN［J］. IEEE Access， 2023， 11： 121109-121117.
3	FAN J Y， LEE J， JUNG I， et al. Improvement of object detection based on faster R-CNN and YOLO［C］∥2021 36th International Technical Conference on Circuits/Systems， Computers and Communications （ITC-CSCC）. Piscataway： IEEE Press， 2021： 1-4.
4	KÖREZ A， BARISCI N. Object detection with low capacity GPU systems using improved faster R-CNN［J］. Applied Sciences， 2019， 10（1）： 83.
5	周兵，李润鑫，尚振宏，等. 基于改进的Faster R-CNN目标检测算法［J］. 激光与光电子学进展， 2020， 57（10）： 101009.
	ZHOU B， LI R X， SHANG Z H， et al. Object detection algorithm based on improved faster R-CNN［J］. Laser & Optoelectronics Progress， 2020， 57（10）： 101009 （in Chinese）.
6	ABBAS S M， SINGH D S N. Region-based object detection and classification using faster R-CNN［C］∥ 2018 4th International Conference on Computational Intelligence & Communication Technology （CICT）. Piscataway： IEEE Press， 2018： 1-6.
7	GAVRILESCU R， ZET C， FOȘALĂU C， et al. Faster R-CNN： An approach to real-time object detection［C］∥ 2018 International Conference and Exposition on Electrical and Power Engineering （EPE）. Piscataway： IEEE Press， 2018： 165-168.
8	REN Y， ZHU C R， XIAO S P. Small object detection in optical remote sensing images via modified faster R-CNN［J］. Applied Sciences， 2018， 8（5）： 813.
9	RAKHI A M， DHORAJIYA A P， SARANYA P. Enhanced mask-RCNN for ship detection and segmentation［C］∥International Conference on Ubiquitous Computing and Intelligent Information Systems. Singapore： Springer， 2022： 199-210.
10	FANG Y X， DAI Y， HE G L， et al. A mask RCNN based automatic reading method for pointer meter［C］∥2019 Chinese Control Conference （CCC）. Piscataway： IEEE Press， 2019： 8466-8471.
11	ZHANG F， WANG X Y， ZHOU S L， et al. Arbitrary-oriented ship detection through center-head point extraction［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 5612414.
12	HUANG B， XU T F， LUO Y X， et al. A novel nearest feature learning classifier for ship target detection in optical remote sensing images［C］∥International Conference in Communications， Signal Processing， and Systems. Singapore： Springer， 2019： 600-606.
13	NAJIBI M， SINGH B， DAVIS L. AutoFocus： Efficient multi-scale inference［C］∥2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2019： 9744-9754.
14	QUAN Y， ZHANG D， ZHANG L Y， et al. Centralized feature pyramid for object detection［J］. IEEE Transactions on Image Processing， 2023， 32： 4341-4354.
15	CHANG Y J， WU Y D， LIAO Y L， et al. Modified YOLO network model for metaphase cell detection in antinuclear antibody images［J］. Engineering Applications of Artificial Intelligence， 2024， 127： 107392.
16	XING Y G， YI Z P， LIANG Z X， et al. Edge-on low-surface-brightness galaxy candidates detected from SDSS images using YOLO［J］. The Astrophysical Journal Supplement Series， 2023， 269（2）： 59.
17	CHEN L Q， SHI W X， FAN C E， et al. A novel coarse-to-fine method of ship detection in optical remote sensing images based on a deep residual dense network［J］. Remote Sensing， 2020， 12（19）： 3115.
18	SONG W S， YAN D M， YAN J， et al. Ship detection and identification in SDGSAT-1 glimmer images based on the glimmer YOLO model［J］. International Journal of Digital Earth， 2023， 16（2）： 4687-4706.
19	WANG J， PAN Q R， LU D H， et al. An efficient ship-detection algorithm based on the improved YOLOv5［J］. Electronics， 2023， 12（17）： 3600.
20	HA H Y， FLEITES F， CHEN S C. Building multi-model collaboration in detecting multimedia semantic concepts［C］∥Proceedings of the 9th IEEE International Conference on Collaborative Computing： Networking， Applications and Worksharing. Piscataway： IEEE Press， 2013： 205-212.
21	ZHANG Y N， TONG X M， YANG T， et al. Multi-model estimation based moving object detection for aerial video［J］. Sensors， 2015， 15（4）： 8214-8231.
22	MA W P， GUO Q Q， WU Y， et al. A novel multi-model decision fusion network for object detection in remote sensing images［J］. Remote Sensing， 2019， 11（7）： 737.
23	XU J， WANG W， WANG H Y， et al. Multi-model ensemble with rich spatial information for object detection［J］. Pattern Recognition， 2020， 99： 107098.
24	KUNDID VASIĆ M， PAPIĆ V. Multimodel deep learning for person detection in aerial images［J］. Electronics， 2020， 9（9）： 1459.
25	YANG D F， SOLIHIN M I， ZHAO Y W， et al. A review of intelligent ship marine object detection based on RGB camera［J］. IET Image Processing， 2024， 18（2）： 281-297.
26	FINGAS M F， BROWN C E. Review of ship detection from airborne platforms［J］. Canadian Journal of Remote Sensing， 2001， 27（4）： 379-385.
27	YASIR M， WAN J H， XU M M， et al. Ship detection based on deep learning using SAR imagery： A systematic literature review［J］. Soft Computing， 2023， 27（1）： 63-84.
28	TEIXEIRA E， ARAUJO B， COSTA V， et al. Literature review on ship localization， classification， and detection methods based on optical sensors and neural networks［J］. Sensors， 2022， 22（18）： 6879.
29	LIN Y， WANG C F， CHANG C Y， et al. An efficient framework for counting pedestrians crossing a line using low-cost devices： The benefits of distilling the knowledge in a neural network［J］. Multimedia Tools and Applications， 2021， 80（3）： 4037-4051.
30	XIA G S， BAI X， DING J， et al. DOTA： A large-scale dataset for object detection in aerial images［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 3974-3983.
31	BYNUM L， DOSTER T， EMERSON T H， et al. Rotational equivariance for object classification using xView［C］∥IGARSS 2020 - 2020 IEEE International Geoscience and Remote Sensing Symposium. Piscataway： IEEE Press， 2020： 3684-3687.
32	LI K， WAN G， CHENG G， et al. Object detection in optical remote sensing images： A survey and a new benchmark［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2020， 159： 296-307.
33	ZHANG Y L， YUAN Y， FENG Y C， et al. Hierarchical and robust convolutional neural network for very high-resolution remote sensing object detection［J］. IEEE Transactions on Geoscience and Remote Sensing， 2019， 57（8）： 5535-5548.
34	ZOU Z X， SHI Z W. Random access memories： A new paradigm for target detection in high resolution aerial remote sensing images［J］. IEEE Transactions on Image Processing， 2018， 27（3）： 1100-1111.
35	NEUBECK A， VAN GOOL L. Efficient non-maximum suppression［C］∥18th International Conference on Pattern Recognition （ICPR’06）. Piscataway： IEEE Press， 2006： 850-855.
36	BODLA N， SINGH B， CHELLAPPA R， et al. Soft-NMS—improving object detection with one line of code［C］∥2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 5562-5570.
37	SOLOVYEV R， WANG W M， GABRUSEVA T. Weighted boxes fusion： Ensembling boxes from different object detection models［J］. Image and Vision Computing， 2021， 107： 104117.
38	WANG C Y， BOCHKOVSKIY A， LIAO H Y M. YOLOv7： Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors［C］∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 7464-7475.
39	GE Z， LIU S T， WANG F， et al. YOLOX： Exceeding YOLO series in 2021［DB/OL］. arXiv preprint： 2107.08430， 2021.
40	CHEN Z， LIU C， FILARETOV V， et al. Multi-scale ship detection algorithm based on YOLOv7 for complex scene SAR images［J］. Remote Sensing， 2023， 15（8）： 2071.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

网络	三元关系约束	知识引导	DOTA		xView
网络	三元关系约束	知识引导	AP_0.5	AP_0.95	AP_0.5	AP_0.95
主网络			0.559	0.337	0.440	0.197
	√		0.657	0.434	0.531	0.282
		√	0.612	0.406	0.526	0.277
	√	√	0.735	0.493	0.551	0.299

方法	DOTA		xView
方法	AP_0.5	AP_0.95	AP_0.5	AP_0.95
联合引导	0.712	0.478	0.546	0.291
融合引导	0.735	0.493	0.551	0.299

方法	DOTA		xView
方法	AP_0.5	AP_0.95	AP_0.5	AP_0.95
主+辅1	0.589	0.377	0.451	0.206
主+辅2	0.568	0.365	0.467	0.243
主+辅3	0.565	0.358	0.479	0.256
主+辅1+辅2	0.636	0.410	0.497	0.269
主+辅1+辅3	0.649	0.418	0.516	0.272
主+辅2+辅3	0.631	0.403	0.521	0.275
本文方法	0.735	0.493	0.551	0.299

方法		DOTA		xView
方法		AP_0.5	AP_0.95	AP_0.5	AP_0.95
仅主网络		0.559	0.337	0.440	0.197
数据集成	DOTA/xView with LEVIR+DIOR+HRRSD	0.708	0.462	0.528	0.281
模型集成	NMS ^［35］	0.642	0.426	0.537	0.285
	Soft-NMS ^［36］	0.647	0.431	0.540	0.287
	WBF ^［37］	0.673	0.442	0.545	0.290
模型交互	MMDF-Net ^［20］	0.631	0.401	0.469	0.241
	SSMD ^［21］	0.679	0.434	0.461	0.238
	本文方法	0.735	0.493	0.551	0.299

方法	DOTA		xView
方法	AP_0.5	AP_0.95	AP_0.5	AP_0.95
YOLOv7 ^［38］	0.519	0.315	0.416	0.183
YOLOX ^［39］	0.571	0.337	0.431	0.201
CSD-YOLO ^［40］	0.594	0.362	0.457	0.224
AutoFocus ^［13］	0.543	0.321	0.403	0.177
CFP ^［14］	0.511	0.304	0.348	0.133
本文方法	0.735	0.493	0.551	0.299

基于多模型协同的舰船目标检测

Multiple models collaboration for ship detection

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 40

相关文章 15

编辑推荐

Metrics

本文评价

[1]	赵其昌, 吴一全, 苑玉彬. 光学遥感图像舰船目标检测与识别方法研究进展[J]. 航空学报, 2024, 45(8): 29025-029025.
[2]	罗旭东, 吴一全, 陈金林. 无人机航拍影像目标检测与语义分割的深度学习方法研究进展[J]. 航空学报, 2024, 45(6): 28822-028822.
[3]	于傲泽, 魏维伟, 王平, 张金强, 柯文雄. 基于分块复合注意力的无人机小目标检测算法[J]. 航空学报, 2024, 45(14): 629148-629148.
[4]	王潇, 刘贞报. 基于多层多向Transformer的红外弱小目标检测[J]. 航空学报, 2024, 45(14): 629490-629490.
[5]	刘延芳, 佘佳宇, 袁秋帆, 周芮, 齐乃明. 无人机遥感图像实时小目标检测方法[J]. 航空学报, 2024, 45(14): 630119-630119.
[6]	李峻宇, 刘乾坤, 付莹. 融合注意力机制的红外小目标检测[J]. 航空学报, 2024, 45(14): 628959-628959.
[7]	武星蕊, 彭锐晖, 孙殿星, 谭顺成, 张一泓, 韦文斌. 基于TransUNet的机动微弱目标智能检测前跟踪算法[J]. 航空学报, 2024, 45(12): 329466-329466.
[8]	甘纪强, 王小平. 基于虚拟样本生成的铺丝表面缺陷检测[J]. 航空学报, 2024, 45(1): 428624-428624.
[9]	陈立群, 邹旭, 张磊, 朱颖盼, 王港, 陈金勇. 基于国产商用器件的星载智能目标检测技术[J]. 航空学报, 2023, 44(S2): 728860-728860.
[10]	奉志强, 谢志军, 包正伟, 陈科伟. 基于改进YOLOv5的无人机实时密集小目标检测算法[J]. 航空学报, 2023, 44(7): 327106-327106.
[11]	冒国韬, 邓天民, 于楠晶. 基于多尺度分割注意力的无人机航拍图像目标检测算法[J]. 航空学报, 2023, 44(5): 326738-326738.
[12]	苑玉彬, 吴一全, 赵朗月, 陈金林, 赵其昌. 基于深度学习的无人机航拍视频多目标检测与跟踪研究进展[J]. 航空学报, 2023, 44(18): 28334-028334.
[13]	宋玉存, 葛泉波, 朱军龙, 陆振宇. 基于梯度差自适应学习率优化的改进YOLOX目标检测算法[J]. 航空学报, 2023, 44(14): 327951-327951.
[14]	李子豪, 王正平, 贺云涛. 基于自适应协同注意力机制的航拍密集小目标检测算法[J]. 航空学报, 2023, 44(13): 327944-327944.
[15]	王强, 吴乐天, 王勇, 王欢, 杨万扣. 基于关键点检测的红外弱小目标检测[J]. 航空学报, 2023, 44(10): 328173-328173.