融合注意力机制的红外小目标检测

弱小目标检测与跟踪专栏

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

融合注意力机制的红外小目标检测

李峻宇¹, 刘乾坤¹, 付莹¹^,²()

^1.北京理工大学复杂环境智能感测技术工业和信息化部重点实验室，北京 100081
^2.北京理工大学长三角研究院，嘉兴 314019

收稿日期:2023-05-03 修回日期:2023-05-30 接受日期:2023-07-03 出版日期:2024-07-25 发布日期:2024-06-17
通讯作者: 付莹 E-mail:fuying@bit.edu.cn
基金资助:
国家自然科学基金(62171038);北京市教委-市自然科学基金联合项目(KZ202211417048)

Infrared small object detection based on attention mechanism

Junyu LI¹, Qiankun LIU¹, Ying FU¹^,²()

^1.MIIT Key Laboratory of Complex-field Intelligent Sensing，Beijing Institute of Technology，Beijing 100081，China
^2.Yangtze Delta Region Academy of Beijing Institute of Technology，Jiaxing 314019，China

Received:2023-05-03 Revised:2023-05-30 Accepted:2023-07-03 Online:2024-07-25 Published:2024-06-17
Contact: Ying FU E-mail:fuying@bit.edu.cn
Supported by:
National Natural Science Foundation of China(62171038);The R&D Program of Beijing Municipal Education Commission(KZ202211417048)

摘要/Abstract

摘要：

随着图像中显著目标检测准确率的提高，如何提升小目标的检测精度逐渐成为人们关注的重点。现有的目标检测方法主要研究以可见光图像作为输入的通用目标检测问题，小目标检测领域的大部分方法主要针对可见光图像，面向红外图像的较少。红外小目标不含颜色信息，与常规目标尺度差别大，更加依赖上下文信息。针对这些问题，提出一种基于YOLOv5的红外小目标检测模型。在标准的YOLOv5模型基础上，为了有效结合目标周围的局部信息和整体特征中的全局信息，同时适应红外小目标的细微形态变化，提出了动态上下文信息提取模块，引入通道-细节注意力模块汇聚红外小目标的通道信息和细节信息，提高回归精度。考虑到网络卷积过程中细节特征丢失的问题，在保证模型特征尺度相对应的情况下，上采样新的特征尺度与浅层特征融合，以捕捉更多红外小目标细节信息，避免特征混叠。为了证明方法的有效性，在公开的红外数据集ITTD、IRSTD-1k和NUAA-SIRST上进行验证。实验结果表明：在ITTD数据集中所提方法的mAP值超过对比方法5.1%。对比YOLOv5s基准模型，mAP值提高了3.7%，在IRSTD-1k和NUAA-SIRST数据集中也展示出良好的检测效果，并对自身模型进行了消融实验。本文所提出的红外小目标检测模型对复杂场景下的红外小目标鲁棒性很好，有效地提高了小目标检测的精度，降低了小目标的漏检率。

关键词: 深度学习, 目标检测, 红外小目标检测, 注意力机制, YOLOv5

Abstract:

As the detection accuracy of salient objects in the image has been improved， the focus of research has gradually shifted to how to improve the accuracy of small object detection. However， existing object detection methods mainly study the general object detection using visible images as the input， and most small object detection methods are designed for visible images， leaving the small object detection in infrared images underexplored. Compared with standard scale objects， infrared small objects lack color information， which makes them more dependent on contextual information. In this paper， an infrared small object detection model is proposed based on the standard YOLOv5 model. The local information around small objects is effectively combined with global information by a Dynamic Contextual Information Extraction Module， which adapts to the subtle morphological changes of infrared small objects dynamically. A Channel-Detail Attention Module is designed to aggregate the channel and detail information of the infrared small objects to improve the accuracy of the regression. Considering the problem of loss of detailed features in the process of network convolution， features with new scales are upsampled and fused with shallow features to capture more detailed information of infrared small objects and avoid feature blending. To demonstrate the effectiveness of the proposed method， experiments are conducted on the public infrared datasets， including ITTD， IRSTD-1k， and NUAA-SIRST. The experimental results show that the proposed method outperforms the compared methods in terms of mAP by 5.1% on the ITTD dataset， and the mAP is also improved by 3.7% compared to that of the baseline method （i.e.， YOLOv5）. Results on the IRSTD-1k and NUAA-SIRST datasets also demonstrate the effectiveness of our design. An ablation study is performed to verify the effectiveness of different modules. The proposed infrared small object detection model is robust to the infrared small objects in complex backgrounds， which improves the accuracy and reduces the false alarm rate of infrared small object detection effectively.

Key words: deep learning, object detection, infrared small object detection, attention mechanism, YOLOv5

中图分类号:

李峻宇, 刘乾坤, 付莹. 融合注意力机制的红外小目标检测[J]. 航空学报, 2024, 45(14): 628959-628959.

Junyu LI, Qiankun LIU, Ying FU. Infrared small object detection based on attention mechanism[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(14): 628959-628959.

图/表 9

图1

图2

图3

图 4

表 1

不同模型在ITTD数据集上的实验结果

网络模型	ITTD数据集		FPS/s	FLOPs/G	Params/M
网络模型	mAP	$F m$	FPS/s	FLOPs/G	Params/M
SSD^［4］	78.4	9.9	84.2	110.0	24.0
Faster R-CNN^［28］	81.8	10.0	33.1	91.0	41.1
Cascade R-CNN^［29］	80.8	12.9	22.6	91.1	68.9
Dynamic R-CNN^［30］	85.1	7.7	33.4	63.2	41.1
Sparse R-CNN^［31］	84.1	4.1	33.5	44.1	105.9
YOLOx^［32］	84.8	7.1	101.4	13.3	8.9
YOLOv5s	87.6	10.6	151.5	16.4	6.7
YOLOv7^［33］	85.9	17.9	51.2	104.8	35.4
IDSTD^［34］	80.6	5.0	48.1	65.6	36.1
DCFD^［35］	86.2	10.3	43.4	154.9	58.6
本文方法	91.3	6.6	93.4	19.2	7.2

表 1

表 2

不同模型在IRSTD-1k和NUAA-SIRST数据集上的实验结果

网络模型	IRSTD-1k数据集		NUAA-SIRST数据集
网络模型	mAP	$F m$	mAP	$F m$
SSD^［4］	62.2	17.2	77.7	11.5
Faster R-CNN^［28］	79.4	16.1	78.6	6.2
Cascade R-CNN^［29］	80.0	16.3	87.0	10.4
Dynamic R-CNN^［30］	83.2	13.7	86.6	3.2
Sparse R-CNN^［31］	74.6	5.9	47.7	8.0
YOLOx^［32］	79.5	7.0	89.7	4.0
YOLOv5s	84.6	24.8	87.9	14.6
YOLOv7^［33］	80.9	28.5	86.2	17.7
IDSTD^［34］	84.5	26.6	81.0	23.6
DCFD^［35］	85.1	8.3	85.8	3.6
本文方法	87.2	25.9	91.1	10.6

表 2

图 5

表 3

消融实验结果

特征融合	通道-细节注意力模块	动态上下文信息提取模块	mAP	$F m$
×	×	×	87.6	10.6
√	×	×	88.9	7.2
√	√	×	90.4	6.9
√	×	√	90.1	7.1
√	√	√	91.3	6.6

表 3

表 4

参考文献 36

1	BAI X Z， ZHOU F G. Analysis of new top-hat transformation and the application for infrared dim small target detection［J］. Pattern Recognition， 2010， 43（6）： 2145-2156.
2	PHILIP CHEN C L， LI H， WEI Y T， et al. A local contrast method for small infrared target detection［J］. IEEE Transactions on Geoscience and Remote Sensing， 2014， 52（1）： 574-581.
3	DAI Y M， WU Y Q. Reweighted infrared patch-tensor model with both nonlocal and local priors for single-frame small target detection［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2017， 10（8）： 3752-3767.
4	LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot MultiBox detector［C］∥European Conference on Computer Vision. Cham： Springer， 2016： 21-37.
5	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection［C］∥ 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2016： 779-788.
6	袁翔，程塨，李戈，等. 遥感影像小目标检测研究进展［J］. 中国图象图形学报， 2023， 28（6）： 1662-1684.
	YUAN X， CHENG G， LI G， et al. Progress in small object detection for remote sensing images［J］. Journal of Image and Graphics， 2023， 28（6）： 1662-1684 （in Chinese）.
7	ZHAO M X， CHENG L， YANG X， et al. TBC-Net： A real-time detector for infrared small target detection using semantic constraint［DB/OL］. arXiv preprint：2001.05852，2019.
8	CHENG G， YUAN X， YAO X W， et al. Towards large-scale small object detection： survey and benchmarks［DB/OL］. arXiv preprint： 2207.14096， 2022.
9	XU H， ZHONG S， ZHANG T X， et al. Multiscale multilevel residual feature fusion for real-time infrared small target detection［J］. IEEE Transactions on Geoscience and Remote Sensing， 2023， 61： 5002116.
10	WANG K W， DU S Y， LIU C X， et al. Interior attention-aware network for infrared small target detection［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 5002013.
11	BAI Y N， LI R M， GOU S P， et al. Cross-connected bidirectional pyramid network for infrared small-dim target detection［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： 7506405.
12	CHENG G， YUAN X， YAO X W， et al. Towards large-scale small object detection： Survey and benchmarks［DB/OL］.arXiv preprint： 2207.14096， 2022.
13	李子豪，王正平，贺云涛. 基于自适应协同注意力机制的航拍密集小目标检测算法［J］. 航空学报， 2023， 44（13）： 327944.
	LI Z H， WANG Z P， HE Y T. Aerial-photography dense small target detection algorithm based on adaptive cooperative attention mechanism［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（13）： 327944 （in Chinese）.
14	冒国韬，邓天民，于楠晶. 基于多尺度分割注意力的无人机航拍图像目标检测算法［J］. 航空学报， 2023， 44（5）： 326738.
	MAO G T， DENG T M， YU N J. Object detection in UAV images based on multi-scale split attention［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（5）： 326738 （in Chinese）.
15	NOH J， BAE W， LEE W， et al. Better to follow， follow to be better： Towards precise supervision of feature super-resolution for small object detection［C］∥ 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2019： 9724-9733.
16	KISANTAL M， WOJNA Z， MURAWSKI J， et al. Augmentation for small object detection［DB/OL］. arXiv preprint：1902.07296， 2019.
17	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］∥ 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 936-944.
18	CHEN C Y， LIU M Y， TUZEL O， et al. R-CNN for small object detection［C］∥LAI S H， LEPETIT V， NISHINO K， et al. Asian Conference on Computer Vision. Cham： Springer， 2017： 214-230.
19	JOCHER G， STOKEN A， BOROVEC J， et al. Ultralytics/yolov5： v5. 0-YOLO v5-P6 1280 models， AWS， Supervise.ly and YouTube integrations［EB/OL］. （2021-04-12）［2023-05-01］. .
20	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16×16 words： Transformers for image recognition at scale［DB/OL］. arXiv preprint： 2010.11929，2020.
21	TIAN Y， FU Y， ZHANG J. Transformer-based under-sampled single-pixel imaging［J］. Chinese Journal of Electronics， 2023， 32（5）： 1151-1159.
22	LI M Y， FU Y， ZHANG Y L. Spatial-spectral transformer for hyperspectral image denoising［DB/OL］. arXiv preprint： 2211.14090， 2022.
23	DAI J F， QI H Z， XIONG Y W， et al. Deformable convolutional networks［C］∥ 2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 764-773.
24	WOO S， PARK J， LEE J Y， et al. CBAM： Convolutional block attention module［C］∥ European Conference on Computer Vision. Cham： Springer， 2018： 3-19.
25	傅瑞罡，范红旗，朱永锋，等. 面向空地应用的红外时敏目标检测跟踪数据集［J］. 中国科学数据（中英文网络版），2022， 7（2）： 203-218.
	FU R G， FAN H Q， ZHU Y F， et al. A dataset for infrared time-sensitive target detection and tracking for air-ground application［J］. China Scientific Data， 2022， 7（2）： 203-218 （in Chinese）.
26	ZHANG M J， ZHANG R， YANG Y X， et al. ISNet： Shape matters for infrared small target detection［C］∥ 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 867-876.
27	DAI Y M， WU Y Q， ZHOU F， et al. Asymmetric contextual modulation for infrared small target detection［C］∥ 2021 IEEE Winter Conference on Applications of Computer Vision （WACV）. Piscataway： IEEE Press， 2021： 949-958.
28	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
29	CAI Z W， VASCONCELOS N. Cascade R-CNN： High quality object detection and instance segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（5）： 1483-1498.
30	ZHANG H K， CHANG H， MA B P， et al. Dynamic R-CNN： Towards high quality object detection via dynamic training［C］∥VEDALDI A， BISCHOF H， BROX T， et al. European Conference on Computer Vision. Cham： Springer， 2020： 260-275.
31	SUN P Z， ZHANG R F， JIANG Y， et al. Sparse R-CNN： End-to-end object detection with learnable proposals［C］∥ 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 14449-14458.
32	GE Z， LIU S T， WANG F， et al. YOLOX： Exceeding YOLO series in 2021［DB/OL］.arXiv preprint： 2107.08430， 2021.
33	WANG C Y， BOCHKOVSKIY A， LIAO H Y M. YOLOv7： Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors［C］∥ 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 7464-7475.
34	DU J M， LU H Z， HU M F， et al. CNN-based infrared dim small target detection algorithm using target-oriented shallow-deep features and effective small anchor［J］. IET Image Processing， 2021， 15（1）： 1-15.
35	ZHANG Y， ZHANG Y， SHI Z G， et al. Design and training of deep CNN-based fast detector in infrared SUAV surveillance system［J］. IEEE Access， 2019， 7： 137365-137377.
36	HOU Q B， ZHOU D Q， FENG J S. Coordinate attention for efficient mobile network design［C］∥ 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 13708-13717.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

模块	mAP
CBAM模块^［24］	88.7
CA模块^［36］	89.4
通道-细节注意力模块	89.8

[1]	柳家齐, 陈荣钱, 楼锦华, 韩旭, 吴昊, 尤延铖. 基于深度学习的高速直升机旋翼翼型气动优化设计[J]. 航空学报, 2024, 45(9): 529828-529828.
[2]	王传云, 苏阳, 王琳霖, 王田, 王静静, 高骞. 面向反制无人机集群的多目标连续鲁棒跟踪算法[J]. 航空学报, 2024, 45(7): 329017-329017.
[3]	罗旭东, 吴一全, 陈金林. 无人机航拍影像目标检测与语义分割的深度学习方法研究进展[J]. 航空学报, 2024, 45(6): 28822-028822.
[4]	刘海桥, 刘萌, 龚子超, 董晶. 基于深度学习的图像匹配方法综述[J]. 航空学报, 2024, 45(3): 28796-028796.
[5]	王潇, 刘贞报. 基于多层多向Transformer的红外弱小目标检测[J]. 航空学报, 2024, 45(14): 629490-629490.
[6]	刘延芳, 佘佳宇, 袁秋帆, 周芮, 齐乃明. 无人机遥感图像实时小目标检测方法[J]. 航空学报, 2024, 45(14): 630119-630119.
[7]	肖欣林, 施伟超, 郑向涛, 高跃明, 卢孝强. 基于多模型协同的舰船目标检测[J]. 航空学报, 2024, 45(14): 630241-630241.
[8]	于傲泽, 魏维伟, 王平, 张金强, 柯文雄. 基于分块复合注意力的无人机小目标检测算法[J]. 航空学报, 2024, 45(14): 629148-629148.
[9]	褚昭晨, 宋韬, 金忍, 林德福. 基于视觉图像的空对空多无人机目标跟踪[J]. 航空学报, 2024, 45(14): 629379-629379.
[10]	武星蕊, 彭锐晖, 孙殿星, 谭顺成, 张一泓, 韦文斌. 基于TransUNet的机动微弱目标智能检测前跟踪算法[J]. 航空学报, 2024, 45(12): 329466-329466.
[11]	甘纪强, 王小平. 基于虚拟样本生成的铺丝表面缺陷检测[J]. 航空学报, 2024, 45(1): 428624-428624.
[12]	苏鑫, 管润程, 王桥, 苑伟政, 吕湘连, 何洋. 基于深度学习的结冰区域和厚度检测方法[J]. 航空学报, 2023, 44(S2): 729283-729283.
[13]	陈立群, 邹旭, 张磊, 朱颖盼, 王港, 陈金勇. 基于国产商用器件的星载智能目标检测技术[J]. 航空学报, 2023, 44(S2): 728860-728860.
[14]	刘鹏宇, 朱雪耀. 基于深度学习的融合空域空管指令语义解析技术[J]. 航空学报, 2023, 44(S1): 727592-727592.
[15]	奉志强, 谢志军, 包正伟, 陈科伟. 基于改进YOLOv5的无人机实时密集小目标检测算法[J]. 航空学报, 2023, 44(7): 327106-327106.

融合注意力机制的红外小目标检测

Infrared small object detection based on attention mechanism

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 36

相关文章 15

编辑推荐

Metrics

本文评价