拟VGG16网络的航空传感器故障检测分类

doi:10.7527/S1000-6893.2022.27615

论文

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

拟VGG16网络的航空传感器故障检测分类

李忠智, 马金毅, 艾剑良, 董一群()

复旦大学航空航天系，上海 200433

收稿日期:2022-06-01 修回日期:2022-06-15 接受日期:2022-06-22 出版日期:2023-06-25 发布日期:2022-06-24
通讯作者: 董一群 E-mail:yiqundong@fudan.edu.cn
基金资助:
上海市青年科技英才扬帆计划(20YF1402500);上海市自然科学基金(22ZR1404500)

Fault detection and classification of aerospace sensors using deep neural networks finetuned from VGG16

Zhongzhi LI, Jinyi MA, Jianliang AI, Yiqun DONG()

Department of Aeronautics and Astronautics，Fudan University，Shanghai 200433，China

Received:2022-06-01 Revised:2022-06-15 Accepted:2022-06-22 Online:2023-06-25 Published:2022-06-24
Contact: Yiqun DONG E-mail:yiqundong@fudan.edu.cn
Supported by:
Shanghai Sailing Program(20YF1402500);Natural Science Foundation of Shanghai(22ZR1404500)

摘要/Abstract

摘要：

参考计算机视觉等领域的研究与应用进展，提出了拟图智能化故障诊断概念；拟照VGG16图像分类网络，提出了一种航空传感器故障检测与分类方法。首先，基于仿真、实飞等手段建立了航空传感器故障飞行数据库；该数据库包含4型大型客机、通航飞机在5种飞行状态的飞行数据，并可有效模拟气动数据、惯性测量单元等传感器的故障。其次，提出将航空器气动数据、惯性测量单元等传感器的测量数据堆叠成灰度图像数据格式；该图像保留了传感器测量数据的时间、空间耦合特征，将传感器故障检测与分类转换成为图像上的异常区域检测与分类问题。再次，提出了一种数据增强方法，将堆叠形成的传感器测量数据图像的维度增强为VGG16图像分类网络输入维度，并基于预训练的VGG16图像分类网络，采用微调优化网络模型，最终得到了拟图智能化航空传感器故障检测与分类深度神经网络。在多个航空器数据集上的实验结果表明，网络的平均测试准确度可以达到97.6%。最后，参考计算机视觉领域的深度神经网络可解释性分析方法，基于类激活映射图（CAM）对本文发展的传感器故障检测与分类网络进行了分析，初步阐明了网络内部各层卷积核节点特征提取运算的机理，提升了该网络故障检测与分类性能的可信度。

关键词: 航空传感器, 故障检测与分类, 拟图智能化, 深度神经网络, 可解释性分析

Abstract:

Following the research advances in machine vision， a concept defined as imagification-based intelligence has been proposed. A fault detection and classification method of fault detection and classification was developed using a deep neural network finetuned from VGG16， which originally was designed for image detection and classification problems. Firstly， a database corresponding to 4 aerospace vehicles and 5 flight conditions were constructed via both flight simulations and real-vehicle tests. Faults of aerospace sensors and inertial measurement unit are included in the database. Secondly， we proposed to stack the measurement data of aerospace sensors into a grayscale image， which was used to transfer the fault detection and classification problem into abnormal regions detection problem on the image. Thirdly， the size of the grayscale image was augmented to match the input size of VGG16， and the fault detection neural network was developed via finetuning the VGG16 directly. The experimental results on several aircraft show that the average test accuracy of the network reaches 97.6%. Following the explainability analysis methods in machine vision， Class Activation Mapping （CAM） results of different layers of the fault detection neural network were plotted， which solidifies the performance of the proposed neural network.

Key words: aerospace sensors, fault detection and classification, imagification-based intelligence, deep neural networks, explainability analysis

中图分类号:

V267

李忠智, 马金毅, 艾剑良, 董一群. 拟VGG16网络的航空传感器故障检测分类[J]. 航空学报, 2023, 44(S1): 727615-727615.

Zhongzhi LI, Jinyi MA, Jianliang AI, Yiqun DONG. Fault detection and classification of aerospace sensors using deep neural networks finetuned from VGG16[J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(S1): 727615-727615.

图/表 9

表1

表2

不同类别传感器故障的故障形式和幅值定义［9-11］

故障标签	对应传感器信号	故障注入形式	故障注入幅值
9	${G x, G y, G z}$	附加噪声	0.2g
8	${w x, w y, w z}$	附加噪声	10 （°）/s
7	${G x, G y, G z}$	测量值漂移	±（0.1~0.3）g
6	${w x, w y, w z}$	测量值漂移	±（10~15）（°）/s
5	$β$	附加噪声	5°
4	$α$	附加噪声	5°
3	$β$	测量值漂移	±（5°~10°）
2	$α$	测量值漂移	±（5°~10°）
1	$V$	测量值漂移	-（0.5~1） m/s
0	传感器均无故障

表2

图1

图 2

图3

图4

表3

图5

图 6

参考文献 39

1	GOUPIL P. AIRBUS state of the art and practices on FDI and FTC in flight control system［J］. Control En-gineering Practice， 2011， 19（6）： 524-539.
2	GOUPIL P， BOADA-BAUXELL J， MARCOS A，et al. AIRBUS efforts towards advanced real-time fault diagnosis and fault tolerant control［J］. IFAC Proceedings Volumes， 2014， 47（3）： 3471-3476.
3	YEH Y C. Triple-triple redundant 777 primary flight computer［C］∥1996 IEEE Aerospace Applications Conference. Piscataway： IEEE Press， 1996： 293-307.
4	COLLINSON R P G. Fly-by-wire flight control［M］∥Introduction to Avionics Systems. Dordrecht： Springer， 2011： 179-253.
5	DANGUT M D， SKAF Z， JENNIONS I K. An integrated machine learning model for aircraft components rare failure prognostics with log-based dataset［J］. ISA transactions， 2021， 113： 127-139.
6	CRUZ B， OLIVEIRA D M. Crashed boeing 737-MAX： Fatalities or malpractice［J］. Global Scientific Journals， 2020， 8（1）： 2615-2624.
7	DONG Y Q， TAO J， ZHANG Y M， et al. Deep learning in aircraft design， dynamics， and control： Review and prospects［J］. IEEE Transactions on Aerospace and Electronic Systems， 2021， 57（4）： 2346-2368.
8	ZHAO R， YAN R Q， CHEN Z H，et al. Deep learning and its applications to machine health monitoring［J］. Mechanical Systems and Signal Processing， 2019， 115： 213-237.
9	VAN EYKEREN L， CHU Q P. Sensor fault detection and isolation for aircraft control systems by kinematic relations［J］. Control Engineering Practice， 2014， 31： 200-210.
10	LU P， VAN EYKEREN L， VAN KAMPEN E， et al. Adaptive three-step Kalman filter for air data sensor fault detection and diagnosis［J］. Journal of Guidance， Control， and Dynamics， 2016， 39（3）： 590-604.
11	LU P， VAN EYKEREN L， VAN KAMPEN E J， et al. Air data sensor fault detection and diagnosis with application to real flight data： AIAA-2015-1311［R］. Reston： AIAA， 2015.
12	WAN Y M， KEVICZKY T. Real-time fault-tolerant moving horizon air data estimation for the reconfigure benchmark［J］. IEEE Transactions on Control Systems Technology， 2018， 27（3）： 997-1011.
13	CASTALDI P， MIMMO N， SIMANI S. Avionic air data sensors fault detection and isolation by means of singular perturbation and geometric approach［J］. Sensors， 2017， 17（10）： 2202.
14	CASTALDI P， GERI W， BONFE M， et al. Design of residual generators and adaptive filters for the FDI of aircraft model sensors［J］. Control Engineering Practice， 2010， 18（5）： 449-459.
15	马亚杰，任好，姜斌. 基于自适应多设计融合航天器近距离操作的执行器故障补偿技术研究［J］. 飞控与探测， 2020， 3（3）： 25-32.
	MA Y J， REN H， JIANG B. Multi-design integration based adaptive fault-tolerant control of spacecraft proximity operations［J］. Flight Control & Detection， 2020， 3（3）： 25-32 （in Chinese）.
16	YU X， FU Y， PENG X Y. Fuzzy logic aided fault-tolerant control applied to transport aircraft subject to actuator stuck failures［J］. IEEE Transactions on Fuzzy Systems， 2018， 26（4）： 2050-2061.
17	WANG B， ZHANG Y M， ZHANG W. A composite adaptive fault-tolerant attitude control for a quadrotor UAV with multiple uncertainties［J］.Journal of Systems Science and Complexity， 2022， 35（1）： 81-104.
18	YU Y S， DONG Y Q. Global fault-tolerant control of underactuated aerial vehicles with redundant actuators［J］. International Journal of Aerospace Engineering， 2019， 2019： 1-12.
19	GURURAJAN S， FRAVOLINI M L， CHAO H Y， et al. Performance evaluation of neural network based approaches for airspeed Sensor Failure Accommodation on a small UAV［C］∥21st Mediterranean Conference on Control and Automation. Piscataway： IEEE Press， 2013： 603-608.
20	HUSSAIN S， MOKHTAR M， HOWE J M. Sensor failure detection， identification， and accommodation using fully connected cascade neural network［J］. IEEE Transactions on Industrial Electronics， 2015， 62（3）： 1683-1692.
21	HUSSAIN S， MOKHTAR M， HOWE J M. Aircraft sensor estimation for fault tolerant flight control system using fully connected cascade neural network［C］∥The 2013 International Joint Conference on Neural Networks （IJCNN）. Piscataway： IEEE Press， 2013： 1-8.
22	FRAVOLINI M L， RHUDY M， GURURAJAN S， et al. Experimental evaluation of two pitot free analytical redundancy techniques for the estimation of the airspeed of an UAV［J］. SAE International Journal of Aerospace， 2014， 7（1）： 109-116.
23	REDDY K K， SARKAR S， VENUGOPALAN V， et al. Anomaly detection and fault disambiguation in large flight data： A multi-modal deep auto-encoder approach［C］∥Annual Conference of the PHM Society， 2018.
24	GAO Z H， MA C B， SONG D，et al. Deep quantum inspired neural network with application to aircraft fuel system fault diagnosis［J］. Neurocomputing， 2017， 238： 13-23.
25	FRAVOLINI M L， DEL CORE G， PAPA U， et al. Data-driven schemes for robust fault detection of air data system sensors［J］. IEEE Transactions on Control Systems Technology， 2019， 27（1）： 234-248.
26	DONG Y Q. An application of deep neural networks to the in-flight parameter identification for detection and characterization of aircraft icing［J］. Aerospace Science and Technology， 2018， 77： 34-49.
27	YAN W Z， YU L J. On accurate and reliable anomaly detection for gas turbine combustors： A deep learning approach［DB/OL］. arXiv preprint： 1908. 09238， 2019.
28	DONG Y Q. Implementing deep learning for compre-hensive aircraft icing and actuator/sensor fault detec-tion/identification［J］. Engineering Applications of Ar-tificial Intelligence， 2019， 83： 28-44.
29	EROGLU B， SAHIN M C， URE N K. Autolanding control system design with deep learning based fault estimation［J］. Aerospace Science and Technology， 2020， 102： 105855.
30	CHENG B Y， SHI S， HUANG K， et al. Fault diagnosis of aircraft power system based on long short-term memory network［C］∥2021 IEEE 5th Information Technology， Networking， Electronic and Automation Control Conference （ITNEC）. Piscataway： IEEE Press， 2021： 1438-1442.
31	ZHANG Y M， ZHAO H， MA J Y， et al. A deep neural network-based fault detection scheme for aircraft IMU sensors［J］. International Journal of Aerospace Engineering， 2021， 2021： 1-13.
32	DONG Y Q， WEN J R， ZHANG Y M， et al. Deep neural networks-based air data sensors fault detection for aircraft［C］∥2021 33rd Chinese Control and Decision Conference （CCDC）. Piscataway： IEEE Press， 2021： 442-447.
33	YAZICI I， BEYCA O F， DELEN D. Deep-learning-based short-term electricity load forecasting： A real case application［J］. Engineering Applications of Arti-ficial Intelligence， 2022， 109： 104645..
34	ZHAO Y M， ZHAO H， AI J L， et al. Robust data-driven fault detection：An application to aircraft air data sensors［J］. International Journal of Aerospace Engineering， 2022（3）： 1-17.
35	MEYES R， LU M， DE PUISEAU C W， et al. Ablation studies in artificial neural networks［DB/OL］. arXiv preprint： 1901. 08644， 2019.
36	CHATTOPADHYAY A， SARKAR A， HOWLADER P， et al. Grad-CAM++： Improved visual explanations for deep convolutional networks［DB/OL］.arXiv preprint： 1710. 11063， 2017.
37	LONG M S， CAO Y， WANG J M， et al. Learning transferable features with deep adaptation networks［C］∥Proceedings of the 32nd International Conference on Machine Learning. Lille： ACM， 2015： 97-105.
38	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［DB/OL］. arXiv preprint： 1409. 1556， 2014.
39	DENG J， DONG W， SOCHER R， et al. ImageNet： A large-scale hierarchical image database［C］∥2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2009： 248-255.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

航空器	构型概况	质量/t	翼展/m	飞行状态及数据来源	速度区间/（m·s^-1）	迎角区间/（°）	数据时长/min
Y	军用运输机，四发	41.0	38	低空起降，飞行员操纵，飞行仿真	［93， 167］	［-2.7， 7.7］	295
B1	民航客机，四发	174.0	60	近地飞行，飞行员操纵，飞行仿真	［47， 276］	［14， 19］	151
B1	民航客机，四发	174.0	60	高空巡航，驾驶仪操纵，飞行仿真	［227， 252］	［-1.3， 0.6］	327
B2	民航客机，四发	44.6	36	低空起降，飞行员操纵，实机飞行	［75， 151］	［0.8， 6.7］	67
D	通航飞机，双发	3.1	20	高空巡航，驾驶仪操纵，飞行仿真	［68， 71］	［0.5， 3.2］	162

训练详情	准确度	准确率（宏平均）	F₁值（宏平均）	召回率（宏平均）
第1次训练	0.99	0.99	1.00	0.99
第2次训练	0.96	0.96	0.96	0.96
第3次训练	0.98	0.97	0.99	0.98
第4次训练	0.96	0.96	0.98	0.97
第5次训练	0.99	0.98	0.99	0.98
均值	0.976	0.972	0.984	0.976
标准差	0.013 565	0.011 662	0.013 565	0.010 198

[1]	王子玲, 熊振宇, 顾祥岐. 可见光与SAR多源遥感图像关联学习算法[J]. 航空学报, 2022, 43(S1): 727239-727239.
[2]	杨特, 杨智春, 梁舒雅, 康在飞, 贾有. 平稳随机载荷的信号特征提取与深度神经网络识别[J]. 航空学报, 2022, 43(9): 225952-225952.
[3]	邵怡韦, 陈嘉宇, 林翠颖, 万程, 葛红娟, 石智龙. 小训练样本下齿轮箱故障诊断:一种基于改进深度森林的方法[J]. 航空学报, 2022, 43(8): 625429-625429.
[4]	范周伟, 余雄庆, 王朝, 钟伯文. 基于深度神经网络的客机总体设计参数敏感性分析[J]. 航空学报, 2021, 42(4): 524353-524353.
[5]	杨朝旭, 郭毅, 雷廷万, 李荣冰. 先进战斗机过失速机动大气数据融合估计方法[J]. 航空学报, 2020, 41(6): 523456-523456.

拟VGG16网络的航空传感器故障检测分类

Fault detection and classification of aerospace sensors using deep neural networks finetuned from VGG16

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 39

相关文章 5

编辑推荐

Metrics

本文评价