基于多层多向Transformer的红外弱小目标检测

doi:10.7527/S1000-6893.2024.29490

弱小目标检测与跟踪专栏

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于多层多向Transformer的红外弱小目标检测

王潇, 刘贞报()

西北工业大学民航学院，西安 710072

收稿日期:2023-08-30 修回日期:2023-10-30 接受日期:2024-01-08 出版日期:2024-07-25 发布日期:2024-01-24
通讯作者: 刘贞报 E-mail:liuzhenbao@nwpu.edu.cn
基金资助:
国家自然科学基金(52072309);陕西省重点研发计划(2019ZDLGY14-02-01);深圳市基础研究资助项目(JCYJ201908061522);航空科学基金(ASFC-2018ZC53026)

Infrared small target detection based on multi⁃layer multi⁃direction transformer

Xiao WANG, Zhenbao LIU()

School of Civil Aviation，Northwestern Polytechnical University，Xi’an 710072，China

Received:2023-08-30 Revised:2023-10-30 Accepted:2024-01-08 Online:2024-07-25 Published:2024-01-24
Contact: Zhenbao LIU E-mail:liuzhenbao@nwpu.edu.cn
Supported by:
National Natural Science Foundation of China(52072309);Key Research and Development Program of Shaanxi(2019ZDLGY14-02-01);Shenzhen Fundamental Research Program(JCYJ20190806152203506);Aeronautical Science Foundation of China(ASFC-2018ZC53026)

摘要/Abstract

摘要：

针对基于卷积神经网络的红外图像弱小目标检测方法面临卷积神经网络的感受野有限，扩展感受野的下采样操作容易导致特征丢失，以及卷积网络对局部对比特征提取能力有限的问题，提出了一种基于多层多向Transformer的红外图像弱小目标检测算法。首先使用感受野较大、对比特征提取能力较强的Transformer网络作为基本单元，设计U型深度神经网络和多特征层融合网络将局部特征以及全局特征进行融合。同时在解码网络设计双向注意力算子，利用自注意力计算机制分别计算空间方向和特征方向的注意力特征，进一步提高深度网络提取弱小目标和周边区域对比特征的能力。另外在主干网络最后添加数量约束网络，通过统计对比检测结果中目标的数量，减小误检目标的数目，提高目标检测的准确度。最后在多个实验数据集上和已有方法进行了对比实验，在各个评价参数上取得了最多35%的提升，证明所提红外弱小目标检测算法具有较高的准确性。

关键词: 红外弱小目标检测, Transformer, 多特征层融合, 双向注意力算子, 数量约束

Abstract:

The convolution neural network based infrared small target detection suffers from the problems of limited receptive field of convolution kernel， information loss caused by down sampling operation， and limited power of the convolution neural network in relative information extraction. To solve these problems， a multi-layer multi-direction Transformer based neural network is proposed. Firstly， the Transformer block is adopted as the basic operator since it has a larger receptive field and more powerful in extracting relative information. The proposed network is a U-shaped network， and fuses local and global information with multi-layers structure. Meanwhile， to enhance the network’s ability to detect the infrared small target， a dual-direction attention operator which calculates the attention information along spatial and channel directions is designed for the decoder network. Finally， an additional network is added to the backbone network to calculate the number of the detected infrared small targets. This additional network reduces the number of falsely detected targets by comparing the calculated number with ground truth. The proposed method is tested on several datasets and the evaluation metrics in comparison with state-of-the-art methods. The proposed method achieves an improvement by 35% at most， which proves the effectiveness of the proposed method.

Key words: infrared small target detection, Transformer, multi-layers fusion, dual-direction attention operator, number supervision

中图分类号:

V243

王潇, 刘贞报. 基于多层多向Transformer的红外弱小目标检测[J]. 航空学报, 2024, 45(14): 629490-629490.

Xiao WANG, Zhenbao LIU. Infrared small target detection based on multi⁃layer multi⁃direction transformer[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(14): 629490-629490.

图/表 10

图 1

图 2

图 3

表 1

表 2

图 4

表 3

图 5

表 4

图6

参考文献 32

1	DENG H， SUN X P， LIU M L， et al. Small infrared target detection based on weighted local difference measure［J］. IEEE Transactions on Geoscience and Remote Sensing， 2016， 54（7）： 4204-4214.
2	梁杰，李磊，任君，等. 基于深度学习的红外图像遮挡干扰检测方法［J］. 兵工学报， 2019， 40（7）： 1401-1410.
	LIANG J， LI L， REN J， et al. Infrared image occlusion interference detection method based on deep learning［J］. Acta Armamentarii， 2019， 40（7）： 1401-1410 （in Chinese）.
3	WANG W T， QIN H L， CHENG W X， et al. Small target detection in infrared image using convolutional neural networks［C］∥ AOPC 2017： Optical Sensing and Imaging Technology and Applications. Bellingham：SPIE，2017：1335-1340.
4	YU C， LIU Y P， WU S H， et al. Infrared small target detection based on multiscale local contrast learning networks［J］. Infrared Physics and Technology， 2022， 123： 104107.
5	SHI Q， ZHANG C X， CHEN Z， et al. An infrared small target detection method using coordinate attention and feature fusion［J］. Infrared Physics and Technology， 2023， 131： 104614.
6	WU X， HONG D F， CHANUSSOT J. UIU-Net： U-Net in U-Net for infrared small object detection［J］. IEEE Transactions on Image Processing， 2022， 32： 364-376.
7	LI C Q， HUANG Z C， XIE X M， et al. IST-TransNet： Infrared small target detection based on transformer network［J］. Infrared Physics & Technology， 2023， 132： 104723.
8	龙云利，徐晖，安玮，等. 基于约束序贯M估计的时空域融合红外杂波抑制［J］. 航空学报， 2011， 32（8）： 1531-1541.
	LONG Y L， XU H， AN W， et al. Spatial-temporal fused filtering for infrared clutter suppression based on restricted sequential M-estimation［J］. Acta Aeronautica et Astronautica Sinica， 2011， 32（8）： 1531-1541 （in Chinese）.
9	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
10	REDMON J， DIVVALA S， GIRSHICK R， et al. You Only Look Once： Unified， real-time object detection［C］∥ 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2016： 779-788.
11	RABBI J， RAY N， SCHUBERT M， et al. Small-object detection in remote sensing images with end-to-end edge-enhanced GAN and object detector network［J］. Remote Sensing， 2020， 12（9）： 1432.
12	CHENG G， YUAN X， YAO X W， et al. Towards large-scale small object detection： survey and benchmarks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（11）： 13467-13488.
13	张凯，王凯迪，杨曦，等. 基于DNET的空中红外目标抗干扰识别算法［J］. 航空学报， 2021， 42（2）： 324223.
	ZHANG K， WANG K D， YANG X， et al. Anti-interference recognition algorithm based on DNET for infrared aerial target［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（2）： 324223 （in Chinese）.
14	PHILIP CHEN C L， LI H， WEI Y T， et al. A local contrast method for small infrared target detection［J］. IEEE Transactions on Geoscience and Remote Sensing， 2014， 52（1）： 574-581.
15	GAO C Q， MENG D Y， YANG Y， et al. Infrared patch-image model for small target detection in a single image［J］. IEEE Transactions on Image Processing， 2013， 22（12）： 4996-5009.
16	BAI X Z， ZHOU F G. Analysis of new top-hat transformation and the application for infrared dim small target detection［J］. Pattern Recognition， 2010， 43（6）： 2145-2156.
17	DENG H， SUN X P， LIU M L， et al. Small infrared target detection based on weighted local difference measure［J］. IEEE Transactions on Geoscience and Remote Sensing， 2016， 54（7）： 4204-4214.
18	WANG H， ZHOU L P， WANG L. Miss detection vs false alarm： Adversarial learning for small object segmentation in infrared images［C］∥ 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2019： 8508-8517.
19	DAI Y M， WU Y Q， ZHOU F， et al. Attentional local contrast networks for infrared small target detection［J］. IEEE Transactions on Geoscience and Remote Sensing， 2021， 59（11）： 9813-9824.
20	LI B Y， XIAO C， WANG L G， et al. Dense nested attention network for infrared small target detection［J］. IEEE Transactions on Image Processing， 2022， 32： 1745-1758.
21	ZHANG M J， BAI H C， ZHANG J， et al. RKformer： Runge-Kutta transformer with random-connection attention for infrared small target detection ［C］∥ Proceedings of the 30th ACM International Conference on Multimedia. New York：ACM， 2022： 1730-1738.
22	YING X Y， LIU L， WANG Y Q， et al. Mapping degeneration meets label evolution： Learning infrared small target detection with single point supervision［C］∥ 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 15528-15538.
23	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］∥ Proceedings of the 31st International Conference on Neural Information Processing Systems. New York：ACM，2017：6000-6010.
24	CARION N， MASSA F， SYNNAEVE G， et al. End-to-end object detection with transformers ［C］∥ 16th European Conference on Computer Vision （ECCV）. Cham：Springer， 2020： 213-229.
25	LIU Z， LIN Y T， CAO Y， et al. Swin Transformer： Hierarchical vision transformer using shifted windows［C］∥ 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2021： 9992-10002.
26	WANG Z D， CUN X D， BAO J M， et al. Uformer： A general U-shaped transformer for image restoration［C］∥ 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 17662-17672.
27	ZHANG M J， ZHANG R， YANG Y X， et al. ISNet： Shape matters for infrared small target detection［C］∥ 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 867-876.
28	RIVEST J F， FORTIN R. Detection of dim targets in digital infrared imagery by morphological image processing［J］. Optical Engineering， 1996， 35（7）： 1886-1893.
29	HAN J H， LIANG K， ZHOU B， et al. Infrared small target detection utilizing the multiscale relative local contrast measure［J］. IEEE Geoscience and Remote Sensing Letters， 2018， 15（4）： 612-616.
30	MORADI S， MOALLEM P， SABAHI M F. A false-alarm aware methodology to develop robust and efficient multi-scale infrared small target detection algorithm［J］. Infrared Physics & Technology， 2018， 89： 387-397.
31	ZHANG L D， PENG Z M. Infrared small target detection based on partial sum of the tensor nuclear norm［J］. Remote Sensing， 2019， 11（4）： 382-390.
32	王强，吴乐天，王勇，等. 基于关键点检测的红外弱小目标检测［J］. 航空学报， 2023， 44（10）： 328173.
	WANG Q， WU L T， WANG Y， et al. An infrared small target detection method based on key point［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（10）： 328173 （in Chinese）.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

方法	NUAA-SIRST			NUDT-SIRST			IRSTD-1K
方法	mIoU	P_d	F_a/10⁶	mIoU	P_d	F_a/10⁶	mIoU	P_d	F_a/10⁶
Top-Hat^［28］	7.14	0.798	1 012	20.7	0.784	166.7	10.0	0.751	1 432
RLCM^［29］	21.02	0.806	199	15.1	0.664	163	14.6	0.657	17.95
MSPCM^［30］	12.38	0.832	17.77	5.86	0.559	116	7.33	0.603	15.24
IPI^［15］	25.67	0.856	11.45	17.76	0.745	41.2	27.92	0.814	16.18
PSTNN^［31］	22.40	0.780	29.11	14.85	0.661	44.1	24.57	0.720	35.26
MDvsFA^［18］	61.77	0.924	64.9	45.38	0.860	200.7	35.40	0.859	99.22
UIU-Net^［6］	69.90	0.958	51.2	75.91	0.968	18.61	61.11	0.930	26.87
ALCNet^［19］	67.91	0.928	37.0	61.78	0.913	36.36	62.03	0.910	42.46
ISNet^［27］	72.04	0.947	42.5	71.27	0.969	96.84	60.61	0.943	61.28
KeypointNet^［32］		0.965			0.969			0.887
DNA-Net^［20］	76.86	0.969	22.5	87.42	0.983	24.5	62.73	0.932	21.81
IST-TransNet^［7］	75.40	0.868	19.7	76.14	0.902	21.2	60.55	0.865	28.52
本文方法	74.62	0.971	16.3	87.46	0.982	15.9	59.65	0.929	21.63

检测方法	图像尺寸	单张图像检测时间/s	解码网络计算时间/s
DNA-Net ^［20］	512×512	2.36
IST-TransNet ^［7］	512×512	0.055	0.032
本文方法	512×512	0.065	0.035

网络结构	mIoU	P_d	F_a/10⁶
U	52.39	0.813	95.6
T	68.64	0.883	26.4
UM	55.96	0.859	79.4
TM	72.51	0.935	25.2
TM+CT	37.53	0.552	46.6
TM+DT	75.29	0.976	21.3
TM+DT+ND2	74.35	0.979	17.1
TM+DT+ND1	74.62	0.971	16.3
DNA-Net	76.86	0.969	22.5
DNA-Net+ND	73.46	0.961	18.7

特征提取网络	mIoU	P_d	F_a/10⁶
Conv	58.14	0.872	59.3
ConvNeXt	69.22	0.927	37.5
Transformer	74.62	0.971	16.3

[1]	张百川, 毕文豪, 张安, 毛泽铭, 杨咪. 基于Transformer模型的空战飞行器轨迹预测误差补偿方法[J]. 航空学报, 2023, 44(9): 327413-327413.
[2]	王强, 吴乐天, 王勇, 王欢, 杨万扣. 基于关键点检测的红外弱小目标检测[J]. 航空学报, 2023, 44(10): 328173-328173.
[3]	王梓, 孙晓亮, 李璋, 程子龙, 于起峰. 基于Transformer模型的卫星单目位姿估计方法[J]. 航空学报, 2022, 43(5): 325298-325298.
[4]	罗棕, 杜春, 陈浩, 彭双, 李军. 基于Transformer层次预测的多星应急观测任务规划方法[J]. 航空学报, 2021, 42(4): 524721-524721.

基于多层多向Transformer的红外弱小目标检测

Infrared small target detection based on multi⁃layer multi⁃direction transformer

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 32

相关文章 4

编辑推荐

Metrics

本文评价