基于深度学习及模糊层次分析的毁伤评估算法

doi:10.7527/S1000-6893.2023.29503

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于深度学习及模糊层次分析的毁伤评估算法

孔祥锡¹, 秦闻远¹, 苏飘逸², 化永朝¹(), 董希旺¹^,², 王丽³, 苏盈³, 吕坤³

^1.北京航空航天大学人工智能研究院，北京 100191
^2.北京航空航天大学自动化科学与电气工程学院，北京 100191
^3.武汉高德红外股份有限公司，武汉 430205

收稿日期:2023-08-31 修回日期:2023-09-25 接受日期:2023-11-01 出版日期:2023-11-09 发布日期:2023-11-07
通讯作者: 化永朝 E-mail:yongzhaohua@buaa.edu.cn
基金资助:
国家自然科学基金(62103023);北京市自然科学基金(JQ23019)

Damage assessment algorithm based on deep learning and fuzzy analytic hierarchy process

Xiangxi KONG¹, Wenyuan QIN¹, Piaoyi SU², Yongzhao HUA¹(), Xiwang DONG¹^,², Li WANG³, Ying SU³, Kun LYU³

^1.Institute of Artificial Intelligence，Beihang University，Beijing 　100191，China
^2.School of Aeronautic Science and Engineering，Beihang University，Beijing 　100191，China
^3.Wuhan Guide Infrared Co. ，Ltd. ，Wuhan 　430205，China

Received:2023-08-31 Revised:2023-09-25 Accepted:2023-11-01 Online:2023-11-09 Published:2023-11-07
Contact: Yongzhao HUA E-mail:yongzhaohua@buaa.edu.cn
Supported by:
National Natural Science Foundation of China(62103023);Beijing Natural Science Foundation(JQ23019)

摘要/Abstract

摘要：

针对军事目标的毁伤检测和毁伤评估问题，提出一种基于深度学习及模糊层次分析法的双阶段毁伤评估方法。首先在带有坐标注意力机制的Yolov5双层目标检测子系统中，通过关键区域提取机制，利用基于交并比和匈牙利线性匹配和决策树相结合的毁伤部件分类器，进行毁伤部件的分类和毁伤程度的量化处理。而后在基于三角模糊层次分析的毁伤评估子系统中，通过设计多种毁伤评估权重体系和毁伤树判据，对前一阶段提取到的毁伤特征和类别进行综合考虑，实现对目标的在线实时毁伤评估，实验结果表明，在多种干扰因素的仿真数据集下，带有注意力机制的Yolov5双层目标检测子系统相较于经典目标细粒度识别算法多种部件和毁伤的平均检测准确率提升了3.6%以上，在目标关键区域提取、毁伤分类和评估表现出了更好的性能，为目标毁伤评估和军事作战决策提供了有力的支持和参考。

关键词: 深度学习, 毁伤分类, 毁伤评估, 注意力机制, 模糊层次分析法

Abstract:

To address the detection and assessment of military target damage， this paper proposes a two-stage damage assessment method based on deep learning and fuzzy analytic hierarchy process. Firstly， in the Yolov5-based dual-stage target detection subsystem with coordinate attention mechanism， a key region extraction mechanism is employed to extract damage components， and a damage component classifier based on the combination of intersection over union， Hungarian linear matching， and decision tree is used for classification and quantification of damage severity. Then， in the damage assessment subsystem based on the triangular fuzzy analytic hierarchy process， multiple damage assessment weight systems and damage tree criteria are designed to comprehensively consider the damage features and categories extracted from the previous stage， achieving online real-time damage assessment for targets. Experimental results show that on various simulated datasets with multiple interference factors， the Yolov5-based dual-stage target detection subsystem with the attention mechanism achieves an average improvement in detection accuracy of over 3.6% when compared to classical target fine-grained recognition algorithms. It demonstrates better performance in target key region extraction， and damage classification and assessment， providing strong support and reference for target damage assessment and military operation decision making.

Key words: deep learning, damage classification, damage assessment, attention mechanism, fuzzy analytic hierarchy process

中图分类号:

孔祥锡, 秦闻远, 苏飘逸, 化永朝, 董希旺, 王丽, 苏盈, 吕坤. 基于深度学习及模糊层次分析的毁伤评估算法[J]. 航空学报, 2024, 45(19): 329503.

Xiangxi KONG, Wenyuan QIN, Piaoyi SU, Yongzhao HUA, Xiwang DONG, Li WANG, Ying SU, Kun LYU. Damage assessment algorithm based on deep learning and fuzzy analytic hierarchy process[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(19): 329503.

图/表 25

图 1

图 2

图 3

图 4

图 5

图 6

图 7

图 8

图 9

图 10

表 1

判断矩阵标度

标度	含义
$M 1$	2个因素同等重要
$M 3$	因素A比因素B稍微重要
$M 5$	因素A比因素B明显重要
$M 7$	因素A比因素B强烈重要
$M 9$	因素A比因素B绝对重要
$M 2, M 4, M 6, M 8$	重要度处于2个相邻标度之间
倒数	$j$ 与 $i$ 比较的判断， $d j i = 1 d i j$

表 1

表 2

毁伤等级评定［10］

毁伤等级V	对象整体毁伤程度
零毁伤 $v 1$	$0,0.06$
轻微毁伤 $v 2$	$0.06,0.24$
中度毁伤 $v 3$	$0.24,0.42$
严重毁伤 $v 4$	$0.42,0.6$
完全毁伤 $v 5$	$0.6,1$

表 2

图 11

图 12

图 13

图 14

图 15

图 16

图 17

表 3

表 4

图 18

表 5

机舱毁伤评估结果

毁伤部件	毁伤特征 $θ i j$	毁伤等级	置信度
机舱1	0.086 2	零毁伤	0.819 2
机舱2	0.101 5	零毁伤	0.742 3
机舱3	0.174 5	轻微毁伤	0.622 6
机舱4	0.435 0	中度毁伤	0.740 0
机舱5	0.588 3	中度毁伤	0.646 8
机舱6	0.640 3	严重毁伤	0.561 1
机舱7	0.719 3	完全毁伤	0.546 1

表 5

图 19

表 6

多部件毁伤评估结果

机翼 $θ i j$	尾翼 $θ i j$	机舱 $θ i j$	毁伤等级	置信度
0.183 4	0.119 5	0.140 2	轻微毁伤	0.594 9
0.256 6	0.067 8	0.177 3	轻微毁伤	0.455 9
0.270 0	0.204 6	0.579 9	中度毁伤	0.304 1
0.368 8	0.693 6	0.340 2	中度毁伤	0.369 6
0.421 1	0.120 0	0.446 7	中度毁伤	0.437 2
0.514 3	0.354 0	0.294 4	中度毁伤	0.502 2
0.351 3	0.306 4	0.470 4	中度毁伤	0.614 8
0.354 4	0.410 2	0.435 7	中度毁伤	0.641 0
0.592 3	0.331 5	0.800 6	重度毁伤	0.409 5
0.471 1	0.746 7	0.503 8	重度毁伤	0.412 4
0.690 4	0.472 0	0.618 1	完全毁伤	0.428 4
0.391 8	0.900 0	0.672 4	完全毁伤	0.643 3

表 6

参考文献 25

1	祝学军，赵长见，梁卓，等. OODA智能赋能技术发展思考［J］. 航空学报， 2021， 42（4）： 524332.
	ZHU X J， ZHAO C J， LIANG Z， et al. Thoughts on technology development of OODA empowered with AI［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（4）： 524332 （in Chinese）.
2	孙智孝，杨晟琦，朴海音，等. 未来智能空战发展综述［J］. 航空学报， 2021， 42（8）： 525799.
	SUN Z X， YANG S Q， PIAO H Y， et al. A survey of air combat artificial intelligence［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（8）： 525799 （in Chinese）.
3	裴扬，宋笔锋，石帅. 飞机作战生存力分析方法研究进展与挑战［J］. 航空学报， 2016， 37（1）： 216-234.
	PEI Y， SONG B F， SHI S. Analysis method of aircraft combat survivability： Progress and challenge［J］. Acta Aeronautica et Astronautica Sinica， 2016， 37（1）： 216-234 （in Chinese）.
4	勾涛. 基于图像分析的毁伤评估系统关键技术研究［D］. 长春：吉林大学， 2019： 1-4.
	GOU T. Research on key technologies of damage assessment system based on image analysis［D］. Changchun： Jilin University， 2019： 1-4. （in Chinese）.
5	HUANG Y， SHAO C S， WU B， et al. State-of-the-art review on Bayesian inference in structural system identification and damage assessment［J］. Advances in Structural Engineering， 2019， 22（6）： 1329-1351.
6	刘彦，裴晓羽，吕中杰，等. 基于层次分析-模糊综合评价法的相控阵雷达毁伤评估［J］. 北京理工大学学报， 2016， 36（10）： 996-1000.
	LIU Y， PEI X Y， LYU Z J， et al. Damage assessment of phased array antenna based on analytic hierarchy process and fuzzy comprehensive assessment［J］. Transactions of Beijing Institute of Technology， 2016， 36（10）： 996-1000 （in Chinese）.
7	周燕，陈中，李为民. 基于BP神经网络的弹炮结合系统作战效能评估［J］. 系统工程与电子技术， 2005， 27（1）： 84-86.
	ZHOU Y，陈中， LI W M. Evaluation of operational effectiveness for anti-aircraft Gun-missile system based on BP neural networks［J］. Systems Engineering and Electronics， 2005， 27（1）： 84-86 （in Chinese）.
8	曲婉嘉，徐忠林，张柏林，等. 基于贝叶斯网络云模型的目标毁伤评估方法［J］. 兵工学报， 2016， 37（11）： 2075-2084.
	QU W J， XU Z L， ZHANG B L， et al. Battle damage assessment method based on BN-cloud model［J］. Acta Armamentarii， 2016， 37（11）： 2075-2084 （in Chinese）.
9	陈麒，祝明波，刘旭东. 基于图像的打击效果评估研究综述［J］. 舰船电子工程， 2013， 33（4）： 10-12， 27.
	CHEN Q， ZHU M B， LIU X D. Summarized of battle damage assessment based on image［J］. Ship Electronic Engineering， 2013， 33（4）： 10-12， 27 （in Chinese）.
10	魏鑫，李晓婷. 基于模糊推理的综合毁伤效果评估方法［J］. 智能计算机与应用， 2022， 12（7）： 146-150.
	WEI X， LI X T. Comprehensive damage effectiveness evaluation method based on fuzzy reasoning［J］. Intelligent Computer and Applications， 2022， 12（7）： 146-150 （in Chinese）.
11	李京，杨根源. 基于神经网络的地面目标威胁度分析［J］. 兵工自动化， 2012， 31（3）： 15-18.
	LI J， YANG G Y. Analysis of ground targets threatening level based on neural network［J］. Ordnance Industry Automation， 2012， 31（3）： 15-18 （in Chinese）.
12	KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84-90.
13	张宗腾，张琳，谢春燕，等. 基于改进GA-BP神经网络的目标毁伤效果评估［J］. 火力与指挥控制， 2021， 46（11）： 43-48.
	ZHANG Z T， ZHANG L， XIE C Y， et al. Battle damage effect assessment based on improved GA-BP neural network［J］. Fire Control & Command Control， 2021， 46（11）： 43-48 （in Chinese）.
14	余丽山，李彦彬，赵永龙，等. 基于BP神经网络的飞机抗毁伤能力评估［J］. 弹箭与制导学报， 2018， 38（1）： 23-26.
	YU L S， LI Y B， ZHAO Y L， et al. Assessment of aircraft anti damage capability based on BP neural network［J］. Journal of Projectiles， Rockets， Missiles and Guidance， 2018， 38（1）： 23-26 （in Chinese）.
15	朱亚红，汪民乐，敬斌. 基于BP神经网络的多源桥梁毁伤信息特征层融合［J］. 战术导弹技术， 2012（2）： 116-121.
	ZHU Y H， WANG M L， JING B. The feature-level fusion of the multi-image damage information about the bridge based on the BP neural network［J］. Tactical Missile Technology， 2012（2）： 116-121 （in Chinese）.
16	徐艺博，于清华，王炎娟，等. 基于多源信息融合的巡飞弹对地目标识别与毁伤评估［J］. 系统仿真学报， 2024， 36（2）： 511-521.
	XU Y B， YU Q H， WANG Y J， et al. Ground target recognition and damage assessment of patrol missiles based on multi-source information fusion［J］. Journal of System Simulation， 2024， 36（2）： 511-521 （in Chinese）.
17	XU J L， ZENG F， LIU W， et al. Damage detection and level classification of roof damage after typhoon faxai based on aerial photos and deep learning［J］. Applied Sciences， 2022， 12（10）： 4912.
18	HOU Q B， ZHOU D Q， FENG J S. Coordinate attention for efficient mobile network design［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 13708-13717.
19	ZHU X K， LYU S C， WANG X， et al. TPH-YOLOv5： improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios［C］∥2021 IEEE/CVF International Conference on Computer Vision Workshops （ICCVW）. Piscataway： IEEE Press， 2021： 2778-2788.
20	MILLS-TETTEY A， STENT A， DIAS M B. The dynamic Hungarian algorithm for the assignment problem with changing costs： CMU-RI-TR-07-27［R］. Pittsburgh： Carnegie Mellon University， 2007.
21	彭庭睿，刘海鹏，刘彦，等. 基于模糊层次分析法和图像对比毁伤评估法的目标权重计算方法［J］. 兵工学报， 2021， 42（S1）： 173-180.
	PENG T R， LIU H P， LIU Y， et al. Target weight calculation method based on fuzzy analytic hierarchy process and image contrast damage assessment method［J］. Acta Armamentarii， 2021， 42（S1）： 173-180 （in Chinese）.
22	REZATOFIGHI H， TSOI N， GWAK J， et al. Generalized intersection over union： A metric and a loss for bounding box regression［C］∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2019： 658-666.
23	娄文忠，苏子龙，汪金奎，等. 弹载图像探测器广域协同探测算法［J］. 兵工学报， 2021， 42（11）： 2388-2395.
	LOU W Z， SU Z L， WANG J K， et al. Wide-area cooperative detection algorithm of missile-borne image detector［J］. Acta Armamentarii， 2021， 42（11）： 2388-2395 （in Chinese）.
24	HE K M， GKIOXARI G， DOLLÁR P， et al. Mask R-CNN［C］∥2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 2980-2988.
25	FU J L， ZHENG H L， MEI T. Look closer to see better： recurrent attention convolutional neural network for fine-grained image recognition［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 4476-4484.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

场景	对象类型	准确率			精确率			召回率			F1分数
场景	对象类型	本文	Mask R-CNN	RA-CNN	本文	Mask R-CNN	RA-CNN	本文	Mask R-CNN	RA-CNN	本文	Mask R-CNN	RA-CNN
可见光	装甲车	0.91	0.89	0.87	0.92	0.90	0.86	0.89	0.83	0.92	0.91	0.87	0.89
红外	装甲车	0.90	0.83	0.89	0.89	0.86	0.87	0.88	0.81	0.91	0.89	0.84	0.89
可见光	战斗机	0.94	0.93	0.90	0.92	0.92	0.91	0.91	0.92	0.86	0.92	0.92	0.88
红外	战斗机	0.93	0.88	0.88	0.87	0.88	0.89	0.85	0.82	0.82	0.86	0.85	0.85
红外	装甲车、战斗机	0.89	0.81	0.83	0.86	0.84	0.81	0.83	0.83	0.84	0.85	0.84	0.82

对象类型	mAP（基线）/%	mAP（本文）/%
装甲车（可见光、红外）	82.6	88.0
战斗机（可见光、红外）	83.9	86.5

[1]	柳家齐, 陈荣钱, 楼锦华, 韩旭, 吴昊, 尤延铖. 基于深度学习的高速直升机旋翼翼型气动优化设计[J]. 航空学报, 2024, 45(9): 529828-529828.
[2]	王传云, 苏阳, 王琳霖, 王田, 王静静, 高骞. 面向反制无人机集群的多目标连续鲁棒跟踪算法[J]. 航空学报, 2024, 45(7): 329017-329017.
[3]	罗旭东, 吴一全, 陈金林. 无人机航拍影像目标检测与语义分割的深度学习方法研究进展[J]. 航空学报, 2024, 45(6): 28822-028822.
[4]	刘海桥, 刘萌, 龚子超, 董晶. 基于深度学习的图像匹配方法综述[J]. 航空学报, 2024, 45(3): 28796-028796.
[5]	陈勇刚, 刘康妮, 王帅. 基于BiGRU⁃Attention改进的航空设备故障知识图谱构建[J]. 航空学报, 2024, 45(18): 229916-229916.
[6]	胡渊豪, 宋艺博, 刘家辉, 赵孝礼, 邓文翔, 胡健, 姚建勇. 基于注意力卷积胶囊网络的电液比例伺服阀故障诊断[J]. 航空学报, 2024, 45(15): 630407-630407.
[7]	李峻宇, 刘乾坤, 付莹. 融合注意力机制的红外小目标检测[J]. 航空学报, 2024, 45(14): 628959-628959.
[8]	于傲泽, 魏维伟, 王平, 张金强, 柯文雄. 基于分块复合注意力的无人机小目标检测算法[J]. 航空学报, 2024, 45(14): 629148-629148.
[9]	褚昭晨, 宋韬, 金忍, 林德福. 基于视觉图像的空对空多无人机目标跟踪[J]. 航空学报, 2024, 45(14): 629379-629379.
[10]	甘纪强, 王小平. 基于虚拟样本生成的铺丝表面缺陷检测[J]. 航空学报, 2024, 45(1): 428624-428624.
[11]	陈立群, 邹旭, 张磊, 朱颖盼, 王港, 陈金勇. 基于国产商用器件的星载智能目标检测技术[J]. 航空学报, 2023, 44(S2): 728860-728860.
[12]	苏鑫, 管润程, 王桥, 苑伟政, 吕湘连, 何洋. 基于深度学习的结冰区域和厚度检测方法[J]. 航空学报, 2023, 44(S2): 729283-729283.
[13]	刘鹏宇, 朱雪耀. 基于深度学习的融合空域空管指令语义解析技术[J]. 航空学报, 2023, 44(S1): 727592-727592.
[14]	奉志强, 谢志军, 包正伟, 陈科伟. 基于改进YOLOv5的无人机实时密集小目标检测算法[J]. 航空学报, 2023, 44(7): 327106-327106.
[15]	何磊, 钱炜祺, 董康生, 易贤, 柴聪聪. 基于卷积神经网络的结冰翼型气动特性建模[J]. 航空学报, 2023, 44(5): 126434-126434.

基于深度学习及模糊层次分析的毁伤评估算法

Damage assessment algorithm based on deep learning and fuzzy analytic hierarchy process

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 25

参考文献 25

相关文章 15

编辑推荐

Metrics

本文评价