基于关键点检测的红外弱小目标检测

doi:10.7527/S1000-6893.2023.28173

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于关键点检测的红外弱小目标检测

王强¹^,², 吴乐天¹, 王勇²^,³, 王欢⁴, 杨万扣¹()

^1.东南大学自动化学院，南京　210096
^2.江苏自动化研究所，连云港　222061
^3.西北工业大学无人系统技术研究院，西安　710072
^4.南京理工大学计算机科学与工程学院，南京　210094

收稿日期:2022-10-26 修回日期:2022-11-09 接受日期:2023-03-20 出版日期:2023-05-25 发布日期:2023-03-21
通讯作者: 杨万扣 E-mail:wkyang@seu.edu.cn
基金资助:
国家自然科学基金(62276061)

An infrared small target detection method based on key point

Qiang WANG¹^,², Letian WU¹, Yong WANG²^,³, Huan WANG⁴, Wankou YANG¹()

^1.School of Automation，Southeast University，Nanjing 　210096，China
^2.Jiangsu Automation Research Institute，Lianyungang 　222061，China
^3.Unmanned System Research Institute，Northwestern Polytechnical University，Xi’an 　710072，China
^4.School of Computer Science and Engineering，Nanjing University of Technology，Nanjing 　210094，China

Received:2022-10-26 Revised:2022-11-09 Accepted:2023-03-20 Online:2023-05-25 Published:2023-03-21
Contact: Wankou YANG E-mail:wkyang@seu.edu.cn
Supported by:
National Natural Science Foundation of China(62276061)

摘要/Abstract

摘要：

红外弱小目标检测旨在从复杂的背景中检测出红外弱小目标，该技术在监视预警系统、精确制导等方面具有重要应用价值。针对已有的传统算法存在漏检、误检，深度学习中基于语义分割的检测方法易受“过分割”与“欠分割”影响等问题，提出了一种基于关键点检测的红外弱小目标检测算法（KeypointNet）。主要创新点为：直接优化目标中心点坐标，提高了检测效率，有效地保证了目标的检测率与虚警率；设计了一种从低层级到高层级的特征融合模块，获取了目标的多尺度信息，提升了检测效果。在相关数据集上的实验表明：KeypointNet算法的检测率能够达到97.58%，同时虚警率在2%以下，与其他算法相比取得了最好的效果。

关键词: 红外弱小目标检测, 关键点检测, 深度学习, KeypointNet, 图像处理

Abstract:

Infrared small target detection aims to detect infrared dim small targets from complex background. With wide application of this technology in monitoring and early warning systems， precise guidance， etc.， how to realize fast and accurate detection of infrared small targets is of great importance. Existing traditional algorithms often result in missed detection or false detection， and the detection method based on semantic segmentation in deep learning is easy to be affected by “over segmentation” and “under segmentation”. To address these problems， an infrared small target detection algorithm is proposed based on key point detection （KeypointNet）. The main innovations of this study are as follows. First， The coordinates of the target center point is directly optimized， improving detection efficiency and effectively ensuring the detection rate and false alarm rate of the target. Second， a low-high level feature fusion module is designed to obtain multi-scale information of the target and improve the detection effect. Experimental results on relevant data sets show that in comparison with other algorithms， the algorithm proposed can achieve better effect， with the detection rate reaching 97.58% and the false alarm rate being reduced to less than 2%.

Key words: infrared small target detection, key point detection, deep learning, KeypointNet, image processing

中图分类号:

V243

王强, 吴乐天, 王勇, 王欢, 杨万扣. 基于关键点检测的红外弱小目标检测[J]. 航空学报, 2023, 44(10): 328173-328173.

Qiang WANG, Letian WU, Yong WANG, Huan WANG, Wankou YANG. An infrared small target detection method based on key point[J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2023, 44(10): 328173-328173.

图/表 17

图 1

图 2

图 3

图4

图5

图 6

图 7

图 8

表1

表2

图 9

表3

表4

表5

表6

图10

图11

参考文献 36

1	TEUTSCH M， KRÜGER W. Classification of small boats in infrared images for maritime surveillance［C］∥ 2010 International WaterSide Security Conference. Piscataway： IEEE Press， 2011： 1-7.
2	DENG H， SUN X P， LIU M L， et al. Small infrared target detection based on weighted local difference measure［J］. IEEE Transactions on Geoscience and Remote Sensing， 2016， 54（7）： 4204-4214.
3	SUN Y， YANG J G， AN W. Infrared dim and small target detection via multiple subspace learning and spatial-temporal patch-tensor model［J］. IEEE Transactions on Geoscience and Remote Sensing， 2021， 59： 3737-3752.
4	梁杰，李磊，任君，等. 基于深度学习的红外图像遮挡干扰检测方法［J］. 兵工学报， 2019， 40（7）： 1401-1410.
	LIANG J， LI L， REN J， et al. Infrared image occlusion interference detection method based on deep learning［J］. Acta Armamentarii， 2019， 40（7）： 1401-1410 （in Chinese）.
5	赵坤，孔祥维. 小目标红外图像背景噪声的抑制及方法讨论［J］. 光学与光电技术， 2004， 2（2）： 9-12.
	ZHAO K， KONG X W. Background noise suppression in small targets infrared images and its method discussion［J］. Optics & Optoelectronic Technology， 2004， 2（2）： 9-12 （in Chinese）.
6	HOU X D， ZHANG L Q. Saliency detection： A spectral residual approach［C］∥ 2007 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2007： 1-8.
7	龙云利，徐晖，安玮，等. 基于约束序贯M估计的时空域融合红外杂波抑制［J］. 航空学报， 2011， 32（8）： 1531-1541.
	LONG Y L， XU H， AN W， et al. Spatial-temporal fused filtering for infrared clutter suppression based on restricted sequential M-estimation［J］. Acta Aeronautica et Astronautica Sinica， 2011， 32（8）： 1531-1541 （in Chinese）.
8	PHILIP CHEN C L， LI H， WEI Y T， et al. A local contrast method for small infrared target detection［J］. IEEE Transactions on Geoscience and Remote Sensing， 2014， 52（1）： 574-581.
9	LIU M， DU H， ZHAO Y， et al. Image small target detection based on deep learning with SNR controlled sample generation［M］∥Current Trends in Computer Science and Mechanical Automation. De Gruyter Open Poland， 2018： 211-220.
10	张凯，王凯迪，杨曦，等. 基于DNET的空中红外目标抗干扰识别算法［J］. 航空学报， 2021， 42（2）： 324223.
	ZHANG K， WANG K D， YANG X， et al. Anti-interference recognition algorithm based on DNET for infrared aerial target［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（2）： 324223 （in Chinese）.
11	DAI Y M， WU Y Q， ZHOU F， et al. Asymmetric contextual modulation for infrared small target detection［C］∥ 2021 IEEE Winter Conference on Applications of Computer Vision （WACV）. Piscataway： IEEE Press， 2021： 949-958.
12	LI B Y， XIAO C， WANG L G， et al. Dense nested attention network for infrared small target detection［DB/OL］. arXiv preprint： 2106.00487， 2021.
13	LIU F C， GAO C Q， CHEN F， et al. Infrared small-dim target detection with transformer under complex backgrounds［DB/OL］. arXiv preprint： 2109.14379， 2021.
14	田萱，王亮，丁琪. 基于深度学习的图像语义分割方法综述［J］. 软件学报， 2019， 30（2）： 440-468.
	TIAN X， WANG L， DING Q. Review of image semantic segmentation based on deep learning［J］. Journal of Software， 2019， 30（2）： 440-468 （in Chinese）.
15	SHELHAMER E， LONG J， DARRELL T. Fully convolutional networks for semantic segmentation［C］∥ IEEE Transactions on Pattern Analysis and Machine Intelligence. Piscataway： IEEE Press， 2016： 640-651.
16	RONNEBERGER O， FISCHER P， BROX T. U-net： Convolutional networks for biomedical image segmentation［DB/OL］. arXiv preprint： 1505.04597， 2015.
17	BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： A deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495.
18	CHEN L C， PAPANDREOU G， KOKKINOS I， et al. Semantic image segmentation with deep convolutional nets and fully connected CRFs［DB/OL］. arXiv preprint： 1412.7062， 2014.
19	NEWELL A， YANG K Y， DENG J. Stacked hourglass networks for human pose estimation［DB/OL］. arXiv preprint： 1603.06937， 2016.
20	TOMPSON J， JAIN A， LECUN Y， et al. Joint training of a convolutional network and a graphical model for human pose estimation［C］∥ Proceedings of the 27th International Conference on Neural Information Processing Systems. New York： ACM， 2014： 1799–1807.
21	ZHOU X Y， WANG D Q， KRÄHENBÜHL P. Objects as points［DB/OL］. ArXiv preprint： 1904.07850， 2019.
22	ZHAO H S， SHI J P， QI X J， et al. Pyramid scene parsing network［C］∥ 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 6230-6239.
23	WANG X L， GIRSHICK R， GUPTA A， et al. Non-local neural networks［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 7794-7803.
24	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all You need［C］∥ Proceedings of the 31st International Conference on Neural Information Processing Systems. New York： ACM， 2017： 6000–6010.
25	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
26	WANG H， ZHOU L P， WANG L. Miss detection vs. false alarm： Adversarial learning for small object segmentation in infrared images［C］∥ 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2020： 8508-8517.
27	XIAO B， WU H P， WEI Y C. Simple baselines for human pose estimation and tracking［C］∥European Conference on Computer Vision. Cham： Springer， 2018： 472-487.
28	GAO C Q， TIAN J W， WANG P. Generalised-structure-tensor-based infrared small target detection［J］. Electronics Letters， 2008， 44（23）： 1349-1351.
29	HAN J H， MA Y， ZHOU B， et al. A robust infrared small target detection algorithm based on human visual system［J］. IEEE Geoscience and Remote Sensing Letters， 2014， 11（12）： 2168-2172.
30	ZHANG H， ZHANG L， YUAN D， et al. Infrared small target detection based on local intensity and gradient properties［J］. Infrared Physics & Technology， 2018， 89： 88-96.
31	ZHANG L， PENG L， ZHANG T， et al. Infrared small target detection via non-convex rank approximation minimization joint l2， 1 norm［J］. Remote Sensing， 2018， 10（11）： 1821-1846.
32	ZHANG L， PENG Z. Infrared small target detection based on partial sum of the tensor nuclear norm［J］. Remote Sensing， 2019， 11（4）： 382-415.
33	HAN J H， MORADI S， FARAMARZI I， et al. A local contrast method for infrared small-target detection utilizing a tri-layer window［J］. IEEE Geoscience and Remote Sensing Letters， 2020， 17（10）： 1822-1826.
34	FENG Z H， KITTLER J， AWAIS M， et al. Wing loss for robust facial landmark localisation with convolutional neural networks［DB/OL］. ArXiv preprint： 1711.06753， 2017.
35	LIANG D， GENG Q X， WEI Z Q， et al. Anchor retouching via model interaction for robust object detection in aerial images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 1-13.
36	WEI Z Q， LIANG D， ZHANG D， et al. Learning calibrated-guidance for object detection in aerial images［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2022， 15： 2721-2733.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

数据集	算法	P_d/%	F_a/%
NJUST-SIRST	GST	79.00	25.33
	ILCM	38.67	53.69
	LIG	81.17	90.27
	NRAM	78.00	30.80
	PSTNN	79.67	44.07
	TLLCM	81.00	92.01
	DNANet	84.83	6.83
	MDvsFA	89.50	12.51
	KeypointNet	87.42	6.00

NUAA-SIRST	GST	87.02	13.09
	ILCM	43.41	38.85
	LIG	90.12	50.38
	NRAM	86.05	22.62
	PSTNN	86.82	23.81
	TLLCM	95.83	92.73
	DNANet	98.48	5.31
	MDvsFA	89.73	2.91
	KeypointNet	97.58	1.74

算法	100张图片推理时间/s	参数量/M
DNANet	4.58	4.97
MDvsFA	5.01	3.92
KeypointNet	1.20	7.18

算法	NJUST-SIRST		NUAA-SIRST
算法	P_d/%	F_a/%	P_d/%	F_a/%
语义分割	88.17	18.40	98.48	3.49
KeypointNet	87.42	6.00	97.58	1.74

高斯半径	NJUST-SIRST		NUAA-SIRST
高斯半径	P_d/%	F_a/%	P_d/%	F_a/%
r=3	86.00	5.76	92.64	1.12
r=5	87.42	6.00	97.58	1.74
r=10	89.58	8.89	98.06	5.31
r=15	88.33	11.52	97.18	7.69

模块	NJUST-SIRST		NUAA-SIRST
模块	P_d/%	F_a/%	P_d/%	F_a/%
Baseline	83.67	8.18	93.02	1.74
Baseline+ PPM	85.00	6.83	96.03	2.42
Baseline+BST+PPM	87.42	6.00	97.58	1.74

基于关键点检测的红外弱小目标检测

An infrared small target detection method based on key point

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 17

参考文献 36

相关文章 15

编辑推荐

Metrics

本文评价

损失函数	NJUST-SIRST		NUAA-SIRST
损失函数	P_d/%	F_a/%	P_d/%	F_a/%
SmoothL1 Loss	87.42	6.00	97.58	1.74
MSE Loss	86.16	6.83	96.03	2.42
Wing Loss 1	1.333	64.62	1.163	50.84
Wing Loss 2	7.917	58.22	61.63	30.41

[1]	柳家齐, 陈荣钱, 楼锦华, 韩旭, 吴昊, 尤延铖. 基于深度学习的高速直升机旋翼翼型气动优化设计[J]. 航空学报, 2024, 45(9): 529828-529828.
[2]	罗旭东, 吴一全, 陈金林. 无人机航拍影像目标检测与语义分割的深度学习方法研究进展[J]. 航空学报, 2024, 45(6): 28822-028822.
[3]	刘海桥, 刘萌, 龚子超, 董晶. 基于深度学习的图像匹配方法综述[J]. 航空学报, 2024, 45(3): 28796-028796.
[4]	苏鑫, 管润程, 王桥, 苑伟政, 吕湘连, 何洋. 基于深度学习的结冰区域和厚度检测方法[J]. 航空学报, 2023, 44(S2): 729283-729283.
[5]	陈立群, 邹旭, 张磊, 朱颖盼, 王港, 陈金勇. 基于国产商用器件的星载智能目标检测技术[J]. 航空学报, 2023, 44(S2): 728860-728860.
[6]	刘鹏宇, 朱雪耀. 基于深度学习的融合空域空管指令语义解析技术[J]. 航空学报, 2023, 44(S1): 727592-727592.
[7]	何磊, 钱炜祺, 董康生, 易贤, 柴聪聪. 基于卷积神经网络的结冰翼型气动特性建模[J]. 航空学报, 2023, 44(5): 126434-126434.
[8]	周林宏, 何光宇, 臧顺来. 基于截面SEM数据特征的微尘三维形貌建模方法[J]. 航空学报, 2023, 44(4): 426201-426201.
[9]	丁鹏, 宋亚飞. 代价敏感的空中目标意图识别方法[J]. 航空学报, 2023, 44(24): 328551-328551.
[10]	李晓航, 周建江. 基于自适应记忆长度的多尺度模态融合网络[J]. 航空学报, 2023, 44(22): 628977-628977.
[11]	罗皓文, 何绍溟, 金天宇, 刘子超. 基于迁移学习的角度约束时间最短制导算法[J]. 航空学报, 2023, 44(19): 328400-328400.
[12]	赵鋆赫, 王生楠. 基于深度学习的权函数法应力强度因子求解[J]. 航空学报, 2023, 44(19): 228367-228367.
[13]	苑玉彬, 吴一全, 赵朗月, 陈金林, 赵其昌. 基于深度学习的无人机航拍视频多目标检测与跟踪研究进展[J]. 航空学报, 2023, 44(18): 28334-028334.
[14]	高树一, 林德福, 郑多, 胡馨予. 针对集群攻击的飞行器智能协同拦截策略[J]. 航空学报, 2023, 44(18): 328301-328301.
[15]	张荣升, 吴燕生, 秦旭东, 张普卓. 基于深度学习的高空风在线估计及预报方法[J]. 航空学报, 2023, 44(13): 327860-327860.