基于多级特征增强融合的红外飞机目标检测方法

doi:10.7527/S1000-6893.2023.29220

专栏

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于多级特征增强融合的红外飞机目标检测方法

张毅, 张焱(), 张宇, 张勇, 刘荻

国防科技大学电子科学学院，长沙　410073

收稿日期:2023-06-26 修回日期:2023-07-17 接受日期:2023-08-30 出版日期:2023-09-07 发布日期:2023-09-06
通讯作者: 张焱 E-mail:atrthreefire@sina.com
基金资助:
国家自然科学基金(62075239)

Infrared aircraft target detection method based on multi-level feature enhancement fusion

Yi ZHANG, Yan ZHANG(), Yu ZHANG, Yong ZHANG, Di LIU

College of Electronic Science and Technology，National University of Defense Technology，Changsha 　410073，China

Received:2023-06-26 Revised:2023-07-17 Accepted:2023-08-30 Online:2023-09-07 Published:2023-09-06
Contact: Yan ZHANG E-mail:atrthreefire@sina.com
Supported by:
National Natural Science Foundation of China(62075239)

摘要/Abstract

摘要：

红外飞机目标检测识别在无人侦察、目标制导以及航班监控等领域有广阔的应用前景。为解决红外飞机目标检测识别中目标可用特征少、类间差异小导致的精确识别难度高的问题，提出了一种基于多级特征增强融合的网络模型（MFEFNet）。首先，设计了一种局部与全局特征增强融合模块（LGFE），模块通过设计坐标注意力机制和全局像素注意力机制将深层语义特征和底层细节特征进行增强融合，以自顶向下方式实现深层语义动态指导底层局部特征增强，进而自适应强化网络对红外飞机目标信息的表征；然后，设计了一种全局拓展模块（GEM），在特征金字塔的基础上进一步聚合中间特征图多尺度上下文信息，提高网络对多类别目标的鉴别能力；最后，将GEM模块和LGFE模块进行级联，保持特征长距离依赖关系，产生联合效应，进一步提高网络对目标的表征能力和分类决策能力，有效解决红外飞机目标特征缺失以及类间差异小等问题。此外，本文基于迁移开发了新的地面红外飞机数据集，并通过Gram距离分析了迁移数据与真实红外数据在特征层面上的一致性。在地面红外飞机数据集上的实验结果表明：MFEFNet各个模块是有效的，与其他先进算法相比，本算法对地面红外飞机目标识别的平均均值精度（mAP）提升4.3%以上，识别精确度取得了明显优势。

关键词: 红外飞机目标识别, 机器视觉, 特征增强融合, 全局扩展融合, 注意力机制

Abstract:

Infrared aircraft target detection and recognition has broad prospects for applications in the fields of unmanned reconnaissance， target precision guidance， and flight monitoring. To solve the difficulty in accurate recognition caused by few available features and small difference between classes in infrared aircraft target detection and recognition， a Multi-level Feature Enhanced Fusion Network model （MFEFNet） is proposed. Firstly， a Local and Global Feature Enhancement fusion module （LGFE） is designed. By designing the coordinate attention mechanism and the global pixel attention mechanism， the module enhances and merges the deep semantic features and the low-level detail features. The module implements the top-down mode to dynamically guide the low-level local feature enhancement with deep semantics， and then adaptively strengthens the feature map representation of infrared aircraft target information. Then， a Global Extension Module （GEM） is designed. Based on the feature pyramid， the module further aggregates the multi-scale context information of the intermediate feature map to improve the ability of the network to identify multi-class targets. Finally， the GEM module and LGFE module are cascaded to maintain the long-distance dependence of features and produce a joint effect， which further improves the ability to make feature characterization and target classification decisions and effectively solves the problems of missing features and small differences between classes of infrared aircraft targets. In addition， this paper develops a new ground infrared aircraft dataset based on transfer learning， and analyzes the consistency between transfer data and real infrared data at the feature level by using Gram distance. The experimental results on the ground infrared aircraft dataset show that each module of MFEFNet is effective. Compared with other advanced algorithms， the algorithm proposed can improve the mean Average Precision （mAP） of ground infrared aircraft target recognition by more than 4.3%， and has achieved obvious advantages in recognition accuracy.

Key words: infrared aircraft target recognition, machine vision, feature enhancement fusion, global extension fusion, attention mechanism

中图分类号:

V219

张毅, 张焱, 张宇, 张勇, 刘荻. 基于多级特征增强融合的红外飞机目标检测方法[J]. 航空学报, 2023, 44(22): 629220-629220.

Yi ZHANG, Yan ZHANG, Yu ZHANG, Yong ZHANG, Di LIU. Infrared aircraft target detection method based on multi-level feature enhancement fusion[J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(22): 629220-629220.

图/表 15

图 1

表 1

特征提取网络结构及参数设置

名称	阶段	输出尺寸	骨干结构
ResNet-50	卷积层1	400×512	$7 × 7,64$
	卷积组2	200×256	$1 × 1,64 3 × 3,64 1 × 1,256 × 3$
	卷积组3	100×128	$1 × 1,128 3 × 3,128 1 × 1,512 × 4$
	卷积组4	50×64	$1 × 1,256 3 × 3,256 1 × 1,1 024 × 6$
	卷积组5	25×32	$1 × 1,512 3 × 3,512 1 × 1,2 048 × 3$

表 1

图 2

图 3

图 4

图 5

图 6

图 7

表 2

表 3

表 4

图 8

图 9

图 10

表 5

参考文献 27

1	张凯，刘昊，杨曦，等. 基于关键点检测网络的空中红外目标要害部位识别算法［J］. 西北工业大学学报， 2020， 38（6）： 1154-1162.
	ZHANG K， LIU H， YANG X， et al. Identification algorithm based on key-point detection network for vital parts of infrared aerial target［J］. Journal of Northwestern Polytechnical University， 2020， 38（6）： 1154-1162 （in Chinese）.
2	ZHANG Y， ZHANG Y， FU R G， et al. Learning nonlocal quadrature contrast for detection and recognition of infrared rotary-wing UAV targets in complex background［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 1-19.
3	欧阳欢，范大昭，郭静，等. 结合显著性检测与特征匹配的飞机目标识别［J］. 测绘通报， 2020（3）： 1-6.
	OUYANG H， FAN D Z， GUO J， et al. Aircraft target recognition based on saliency detection and feature matching［J］. Bulletin of Surveying and Mapping， 2020（3）： 1-6 （in Chinese）.
4	HU Q， LI R S， XU Y， et al. Toward aircraft detection and fine-grained recognition from remote sensing images［J］. Journal of Applied Remote Sensing， 2022， 16（2）： 024516.
5	HUANG H L， HUANG J C， FENG Y H， et al. Aircraft type recognition based on target track［J］. Journal of Physics： Conference Series， 2018， 1061： 012015.
6	李婕，周顺，朱鑫潮，等. 结合多通道注意力的遥感图像飞机目标检测［J］. 计算机工程与应用， 2022， 58（1）： 209-217.
	LI J， ZHOU S， ZHU X C， et al. Remote sensing image aircraft target detection combined with multiple channel attention［J］. Computer Engineering and Applications， 2022， 58（1）： 209-217 （in Chinese）.
7	KOU R K， WANG C P， FU Q， et al. Infrared small target detection based on the improved density peak global search and human visual local contrast mechanism［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2022， 15： 6144-6157.
8	蔡红苹，耿振伟，粟毅. 遥感图像飞机检测新方法：圆周频率滤波法［J］. 信号处理， 2007， 23（4）： 539-543.
	CAI H P， GENG Z W， SU Y. A new method to detect airplanes in remote sensing image—circle-frequency filter［J］. Signal Processing， 2007， 23（4）： 539-543 （in Chinese）.
9	AN Z Y， SHI Z W， TENG X C， et al. An automated airplane detection system for large panchromatic image with high spatial resolution［J］. Optik， 2014， 125（12）： 2768-2775.
10	李萍，张波，尚怡君. 基于红外图像和特征融合的飞机目标识别方法［J］. 电光与控制， 2016， 23（8）： 92-96.
	LI P， ZHANG B， SHANG Y J. Aircraft target identification based on infrared image and feature fusion［J］. Electronics Optics & Control， 2016， 23（8）： 92-96 （in Chinese）.
11	XU C F， DUAN H B. Artificial bee colony （ABC） optimized edge potential function （EPF） approach to target recognition for low-altitude aircraft［J］. Pattern Recognition Letters， 2010， 31（13）： 1759-1772.
12	ZHAO A， FU K， WANG S Y， et al. Aircraft recognition based on landmark detection in remote sensing images［J］. IEEE Geoscience and Remote Sensing Letters， 2017， 14（8）： 1413-1417.
13	WU Q C， SUN H， SUN X， et al. Aircraft recognition in high-resolution optical satellite remote sensing images［J］. IEEE Geoscience and Remote Sensing Letters， 2014， 12（1）： 112-116.
14	钟都都，王建华，张凯，等. 用于红外目标跟踪的模板匹配改进算法［J］. 飞行器测控学报， 2008， 27（3）： 63-67.
	ZHONG D D， WANG J H， ZHANG K， et al. An improved template matching method for IR object tracking［J］. Journal of Spacecraft TT&C Technology， 2008， 27（3）： 63-67 （in Chinese）.
15	方涛. 一种基于显著性与卷积神经网络的红外飞机识别算法［D］. 武汉：华中科技大学， 2014.
	FANG T. An infrared aircraft recognition algorithm based on saliency and convolutional neural network［D］.Wuhan： Huazhong University of Science and Technology， 2014 （in Chinese）.
16	ZUO J W， XU G L， FU K， et al. Aircraft type recognition based on segmentation with deep convolutional neural networks［J］. IEEE Geoscience and Remote Sensing Letters， 2018， 15（2）： 282-286.
17	刘思婷. 基于深度神经网络的遥感影像飞机目标检测与型号识别方法［D］. 兰州：兰州交通大学， 2022.
	LIU S T. Aircraft target detection and type recognition in remote sensing imagery based on deep neural network［D］. Lanzhou： Lanzhou Jiatong University， 2022 （in Chinese）.
18	沙苗苗，李宇，李安. 改进Faster R-CNN的遥感图像多尺度飞机目标检测［J］. 遥感学报， 2022， 26（8）： 1624-1635.
	SHA M M， LI Y， LI A. Multiscale aircraft detection in optical remote sensing imagery based on advanced Faster R-CNN［J］. National Remote Sensing Bulletin， 2022， 26（8）： 1624-1635 （in Chinese）.
19	吴杰，高策，余毅，等. 改进LDS＿YOLO网络的遥感飞机检测算法研究［J］. 计算机工程与应用， 2022， 58（15）： 210-219.
	WU J， GAO C， YU Y， et al. Research on improved LDS＿YOLO network remote sensing aircraft detection algorithm［J］. Computer Engineering and Applications， 2022， 58（15）： 210-219 （in Chinese）.
20	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］∥ 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 936-944.
21	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
22	CAI Z W， VASCONCELOS N. Cascade R-CNN： Delving into high quality object detection［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 6154-6162.
23	REDMON J， FARHADI A. YOLOv3： An incremental improvement［DB/OL］. arXiv preprint： 1804.02767， 2018.
24	GE Z， LIU S T， WANG F， et al. YOLOX： Exceeding YOLO series in 2021［DB/OL］. arXiv preprint： 2107.08430， 2021.
25	LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot MultiBox detector［M］∥Computer Vision – ECCV 2016. Cham： Springer International Publishing， 2016： 21-37.
26	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［C］∥2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 2999-3007.
27	TIAN Z， SHEN C H， CHEN H， et al. FCOS： Fully convolutional one-stage object detection［C］∥2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2020： 9626-9635.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

提取特征层	与红外图像的格拉姆距离
提取特征层	原始图像	迁移图像
C2	0.246	1.02×10^-4
C3	0.188	1.05×10^-5
C4	0.028	2.40×10^-7
C5	1.22×10^-4	1.21×10^-7

超参数	数值
锚框尺寸	32｛2⁰，2^1/3，2^2/3｝，64｛2⁰，2^1/3，2^2/3｝ 128｛2⁰，2^1/3，2^2/3｝，256｛2⁰，2^1/3，2^2/3｝ 512｛2⁰，2^1/3，2^2/3｝
锚框比例	0.5，1，2
训练集和测试集划分	8：2
优化器	SGD
动量	0.9
权重衰减	0.000 5
初始学习率	0.005
学习率衰减步长	3
学习率衰减系数	0.33
训练轮数	40
批量大小	4

算法	AP	AP^0.5	AP^0.75	AP^s	AP^m	AP^l	帧数	参数量/M
Faster RCNN	0.625	0.787	0.732	0.108	0.697	0.623	17	41.53
Cascade RCNN	0.688	0.819	0.787	0.096	0.727	0.663	15	69.00
YOLOv3	0.612	0.861	0.731	0.103	0.586	0.656	65	3.69
YOLOX	0.655	0.845	0.772	0.086	0.542	0.708	56	8.95
YOLOv8	0.680	0.880	0.810	0.091	0.523	0.731	47	11.15
FCOS	0.546	0.715	0.655	0.297	0.468	0.536	19	31.90
RetinaNet	0.666	0.816	0.784	0.092	0.602	0.702	17	32.95
SSD	0.497	0.641	0.597	0.041	0.401	0.551	93	17.42
MFEFNet	0.731	0.899	0.816	0.258	0.669	0.801	16	43.91

算法	AP	AP^0.5	AP^0.75	AP^s	AP^m	AP^l	帧数	参数量/M
MFEFNet	0.731	0.899	0.816	0.258	0.669	0.801	16	43.91
MFEFNet（w/o GEM）	0.719	0.883	0.798	0.112	0.575	0.768	16	43.91
MFEFNet（w/o LGFE）	0.682	0.822	0.772	0.185	0.633	0.725	17	32.95
MFEFNet（w/o CA）	0.726	0.890	0.837	0.135	0.611	0.761	16	43.78
MFEFNet（w/o GPA）	0.721	0.880	0.847	0.309	0.587	0.758	16	41.28

[1]	奉志强, 谢志军, 包正伟, 陈科伟. 基于改进YOLOv5的无人机实时密集小目标检测算法[J]. 航空学报, 2023, 44(7): 327106-327106.
[2]	贾宝惠, 姜番, 王玉鑫, 王杜. 基于民机维修文本数据的故障诊断方法[J]. 航空学报, 2023, 44(5): 326598-326598.
[3]	冒国韬, 邓天民, 于楠晶. 基于多尺度分割注意力的无人机航拍图像目标检测算法[J]. 航空学报, 2023, 44(5): 326738-326738.
[4]	李晓航, 周建江. 基于自适应记忆长度的多尺度模态融合网络[J]. 航空学报, 2023, 44(22): 628977-628977.
[5]	李子豪, 王正平, 贺云涛. 基于自适应协同注意力机制的航拍密集小目标检测算法[J]. 航空学报, 2023, 44(13): 327944-327944.
[6]	杜天宇, 王珉, 陈文亮. 基于单目视觉的多类型装配基准稳健检测方法[J]. 航空学报, 2023, 44(12): 427852-427852.
[7]	张洲宇, 曹云峰, 范彦铭. 低空小型无人机空域冲突视觉感知技术研究进展[J]. 航空学报, 2022, 43(8): 25645-025645.
[8]	刘占, 张俊, 尹佳, 赵万华. 基于机器视觉的立铣刀几何与状态参数在机检测[J]. 航空学报, 2022, 43(7): 425593-425593.
[9]	刘芳, 孙亚楠. 基于自适应融合网络的无人机目标跟踪算法[J]. 航空学报, 2022, 43(7): 325522-325522.
[10]	王梓, 孙晓亮, 李璋, 程子龙, 于起峰. 基于Transformer模型的卫星单目位姿估计方法[J]. 航空学报, 2022, 43(5): 325298-325298.
[11]	刘芳, 韩笑. 基于多尺度深度学习的自适应航拍目标检测[J]. 航空学报, 2022, 43(5): 325270-325270.
[12]	康硕, 柯臻铮, 王璇, 朱伟东. 基于红外和可见光图像融合的铺丝缺陷检测方法[J]. 航空学报, 2022, 43(3): 425187-425187.
[13]	窦建宇, 潘翀. 基于神经网络的体视PIV空间标定模型[J]. 航空学报, 2021, 42(4): 524720-524720.
[14]	温卓漫, 王延杰, 初广丽, 金明河. 空间站机械臂位姿测量中合作靶标的快速识别[J]. 航空学报, 2015, 36(4): 1330-1338.
[15]	陆宇平, 杨朝星, 刘洋洋. 空中加油系统的建模与控制技术综述[J]. 航空学报, 2014, 35(9): 2375-2389.

基于多级特征增强融合的红外飞机目标检测方法

Infrared aircraft target detection method based on multi-level feature enhancement fusion

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 27

相关文章 15

编辑推荐

Metrics

本文评价