基于民机维修文本数据的故障诊断方法
收稿日期: 2021-11-02
修回日期: 2021-12-19
录用日期: 2022-02-22
网络出版日期: 2022-03-04
基金资助
国家自然科学基金(U2033209);研究生科研创新项目(10502720)
Fault diagnosis method based on civil aircraft maintenance text data
Received date: 2021-11-02
Revised date: 2021-12-19
Accepted date: 2022-02-22
Online published: 2022-03-04
Supported by
National Natural Science Foundation of China(U2033209);Graduate Research and Innovation Project(10502720)
在民航检修与维护过程中积累了大量蕴含丰富故障特征的文本维修记录，然而由于维修文本本身存在复杂性，其还未实现智能诊断，数据利用率低。提出一种不断修正迭代的基于预训练语言模型双向转换器编码表示（BERT）及轻量级梯度提升机（LightGBM）的飞机维修记录的故障原因分析方法，求解文本形式的维修记录中的故障原因，用以辅助维修人员进行正确的维修决策。首先，在基于BERT的故障诊断模型Transformer特征提取架构中引入多头注意力机制，以充分捕捉融合上下文的双向语义、更加关注于重点词汇；其次，为了提高诊断速度减少模型的参数并融合LightGBM模型来实现维修文本的故障原因分类；最后，将改进的模型与其他常用文本分析模型进行对比实验，在基于民机维修文本的故障诊断中该模型的准确率比TextCNN模型、LSTM模型和BiLSTM模型分别提升了38.99%、22.98%和18.16%，且BERT-LightGBM模型比BERT模型诊断速度提升了0.91%。表明所提方法在实现飞机维修文本故障诊断方面的有效性及优越性。
贾宝惠 , 姜番 , 王玉鑫 , 王杜 . 基于民机维修文本数据的故障诊断方法[J]. 航空学报, 2023 , 44(5) : 326598 -326598 . DOI: 10.7527/S1000-6893.2022.26598
In the process of civil aviation repair and maintenance， a large number of text maintenance records containing rich fault features have been accumulated. However， due to complexity of the maintenance text itself， intelligent diagnosis has not been realized， and the data utilization rate is low. An aircraft fault diagnosis method based on civil aircraft maintenance text data is proposed using the Bidirectional Encoder Representation from Transformers （BERT） based on the pretrained language model and the Light Gradient Boosting Machine （LightGBM）， so as to solve the fault cause in the text maintenance records and then assist maintenance personnel to make correct maintenance decisions. Firstly， the multi-head self-attention mechanism is introduced into the feature extraction architecture of the Bert-based transformer fault diagnosis model to fully capture the bi-directional semantics in the context and pay more attention to key words. Secondly， to improve the diagnosis speed， the parameters of the model are reduced， and the LightGBM model is integrated to achieve fault cause classification of maintenance texts. Finally， the improved model is compared with other commonly used text analysis models. In the fault diagnosis based on civil aircraft maintenance text， the accuracy of the model is 38.99%， 22.98% and 18.16% higher than that of TextCNN model， LSTM model and BiLSTM model respectively， and the diagnostic speed of BERT LightGBM model is 0.91% higher than that of BERT model. It shows that the proposed method is effective and superior in fault diagnosis of aircraft maintenance text.
| 1 | QIU L， BAHL P， ZHOU L，et al. Fault detection and diagnosis： US7583587［P］. 2009-01-09. |
| 2 | NOR N M， HASSAN C R C， HUSSAIN M A. A review of data-driven fault detection and diagnosis methods： Applications in chemical process systems［J］. Reviews in Chemical Engineering， 2020， 36（4）： 513-553. |
| 3 | 杜修明， 秦佳峰， 郭诗瑶， 等. 电力设备典型故障案例的文本挖掘［J］. 高电压技术， 2018， 44（4）： 1078-1084. |
| DU X M， QIN J F， GUO S Y， et al. Text mining of typical defects in power equipment［J］. High Voltage Engineering， 2018， 44（4）： 1078-1084 （in Chinese）. | |
| 4 | 黄良， 王佳丽， 赵立进， 等. 面向文本非结构化数据的输变电系统故障诊断方法［J］. 电力科学与技术学报， 2017， 32（3）： 153-161. |
| HUANG L， WANG J L， ZHAO L J， et al. Fault diagnosis method of power transformation system based on unstructured data［J］. Journal of Electric Power Science and Technology， 2017， 32（3）： 153-161 （in Chinese）. | |
| 5 | 聂同攀， 曾继炎， 程玉杰， 等. 面向飞机电源系统故障诊断的知识图谱构建技术及应用［J］. 航空学报， 2022， 43（8）： 46-62. |
| NIE T P， ZENG J Y， CHENG Y J， et al. Knowledge graph construction technology and its application in aircraft power system fault diagnosis［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（8）： 46-62 （in Chinese）. | |
| 6 | 孔祥芬， 蔡峻青， 张利寒， 等. 大数据在航空系统的研究现状与发展趋势［J］. 航空学报， 2018， 39（12）： 022311. |
| KONG X F， CAI J Q， ZHANG L H， et al. Research status and development trend of big data in aviation system［J］. Acta Aeronautica et Astronautica Sinica， 2018， 39（12）： 022311 （in Chinese）. | |
| 7 | LUHN H P. Auto-encoding of documents for information retrieval systems［M］. Modern Trends in Documention， 1959： 45-58. |
| 8 | KIM S B， HAN K S， RIM H C， et al. Some effective techniques for naive Bayes text classification［J］. IEEE Transactions on Knowledge and Data Engineering， 2006， 18（11）： 1457-1466. |
| 9 | JOACHIMS T. Text categorization with support vector machines： Learning with many relevant features［M］. Berlin： Springer， 1998： 137-142. |
| 10 | 何力， 郑灶贤， 项凤涛， 等. 基于深度学习的文本分类技术研究进展［J］. 计算机工程， 2021， 47（2）： 1-11. |
| HE L， ZHENG Z X， XIANG F T， et al. Research progress of text classification technology based on deep learning［J］. Computer Engineering， 2021， 47（2）： 1-11 （in Chinese）. | |
| 11 | ABEDIN M A， NG V， KHAN L. Cause identification from aviation safety incident reports via weakly supervised semantic lexicon construction［J］. Journal of Artificial Intelligence Research， 2010， 38： 569-631. |
| 12 | ANDRZEJCZAK C， KARWOWSKI W， MIKUSINSKI P. Application of diffusion maps to identify human factors of self-reported anomalies in aviation［J］. Work （Reading， Mass）， 2012， 41（S1）： 188-197. |
| 13 | TULECHKI N. Natural language processing of incident and accident reports： Application to risk management in civil aviation［R］. Toulouse： Universite Toulouse le Mirail-Toulouse II，2015. |
| 14 | ZHANG Y S， ZHENG J， JIANG Y R， et al. A text sentiment classification modeling method based on coordinated CNN-LSTM-attention model［J］. Chinese Journal of Electronics， 2019， 28（1）： 120-126. |
| 15 | 郑炜， 陈军正， 吴潇雪， 等. 基于深度学习的安全缺陷报告预测方法实证研究［J］. 软件学报， 2020， 31（5）： 1294-1313. |
| ZHENG W， CHEN J Z， WU X X， et al. Empirical studies on deep-learning-based security bug report prediction methods［J］. Journal of Software， 2020， 31（5）： 1294-1313 （in Chinese）. | |
| 16 | 田园， 马文. 基于Attention-BiLSTM的电网设备故障文本分类［J］. 计算机应用， 2020， 40（S2）： 24-29. |
| TIAN Y， MA W. Attention-BiLSTM-based fault text classification for power grid equipment［J］. Journal of Computer Applications， 2020， 40（S2）： 24-29 （in Chinese）. | |
| 17 | 李新琴， 张鹏翔， 史天运， 等. 基于深度学习集成的高速铁路信号设备故障诊断方法［J］. 铁道学报， 2020， 42（12）： 97-105. |
| LI X Q， ZHANG P X， SHI T Y， et al. Research on fault diagnosis method for high-speed railway signal equipment based on deep learning integration［J］. Journal of the China Railway Society， 2020， 42（12）： 97-105 （in Chinese）. | |
| 18 | CHUNG Y A， ZHU C G， ZENG M. SPLAT： Speech-language joint pre-training for spoken language understanding［C］∥ 2021 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Massachusetts： MIT Press， 2021： 4171-4186. |
| 19 | VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］∥ Annual Conference on Neural Information Processing Systems 2017. Massachusetts： MIT Press， 2017： 5998-6008. |
| 20 | 杨晓霞， 李亚. 无监督机器翻译综述［J］. 通信技术， 2021， 54（6）： 1301-1306. |
| YANG X X， LI Y. Overview on unsupervised machine translation［J］. Communications Technology， 2021， 54（6）： 1301-1306 （in Chinese）. | |
| 21 | 李解， 王建平， 许娜， 等. 基于文本挖掘的地铁施工安全风险事故致险因素分析［J］. 隧道建设， 2017， 37（2）： 160-166. |
| LI J， WANG J P， XU N， et al. Analysis of safety risk factors for metro construction based on text mining method［J］. Tunnel Construction， 2017， 37（2）： 160-166 （in Chinese）. | |
| 22 | 徐菲菲， 冯东升. 文本词向量与预训练语言模型研究［J］. 上海电力大学学报， 2020， 36（4）： 320-328. |
| XU F F， FENG D S. A survey of research on word vectors and pretrained language models［J］. Journal of Shanghai University of Electric Power， 2020， 36（4）： 320-328 （in Chinese）. | |
| 23 | KE G， MENG Q， FINLEY T， et al. Lightgbm： A highly efficient gradient boosting decision tree［C］∥ 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 3146-3154． |
| 24 | FRIEDMAN J H. Greedy function approximation： A gradient boosting machine［J］. The Annals of Statistics， 2001， 29（5）： 1189-1232. |
| 25 | LAN Z Z， CHEN M D， GOODMAN S， et al. Albert： A lite bert for self-supervised learning of language representations［DB/OL］. arXiv preprint： 1909.11942， 2019. |
| 26 | 丁建立， 孙玥. 基于LightGBM的航班延误多分类预测［J］. 南京航空航天大学学报， 2021， 53（6）： 847-854. |
| DING J L， SUN Y. Multi-classification prediction of flight delay based on LightGBM［J］. Journal of Nanjing University of Aeronautics ＆ Astronautics， 2021， 53（6）： 847-854 （in Chinese）. | |
| 27 | SHI X S， CHENG Y L， XUE D D. Classification algorithm of urban point cloud data based on LightGBM［C］∥ 2019 5th International Conference on Applied Materials and Manufacturing Technology （ICAMMT 2019）. Guangzhou： AEIC， 2019： 052041. |
| 28 | 孙全明， 曲志坚， 任崇广. 基于粒子群优化和LightGBM的情景感知多式联运推荐［J］. 电子学报， 2021， 49（5）： 894-903. |
| SUN Q M， QU Z J， REN C G. Context-aware multi-modal transportation recommendation based on particle swarm optimization and LightGBM［J］. Acta Electronica Sinica， 2021， 49（5）： 894-903 （in Chinese）. |
/
| 〈 |
|
〉 |
CJA