基于多尺度自适应注意力网络的剩余寿命预测

doi:10.7527/S1000-6893.2022.26918

固体力学与飞行器总体设计

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于多尺度自适应注意力网络的剩余寿命预测

刘斌(), 许靖, 霍美玲, 崔学英, 谢秀峰, 杨栋辉, 王嘉

太原科技大学应用科学学院，太原 030024

收稿日期:2022-01-10 修回日期:2022-03-11 接受日期:2022-03-29 出版日期:2022-04-07 发布日期:2022-04-06
通讯作者: 刘斌 E-mail:liubin@tyust.edu.cn
基金资助:
国家自然科学基金(11701406);山西省基础研究计划(202103021224274);山西省省筹资金资助回国留学人员科研项目(2022-163);山西省社会经济统计科研课题(KY［2022］73)

Remaining useful life prediction based on multi-scale adaptive attention network

Bin LIU(), Jing XU, Meiling HUO, Xueying CUI, Xiufeng XIE, Donghui YANG, Jia WANG

School of Applied Science，Taiyuan University of Science and Technology，Taiyun 030024，China

Received:2022-01-10 Revised:2022-03-11 Accepted:2022-03-29 Online:2022-04-07 Published:2022-04-06
Contact: Bin LIU E-mail:liubin@tyust.edu.cn
Supported by:
National Natural Science Foundation of China(11701406);Fundamental Research Program of Shanxi Province(202103021224274);Research Project Supported by Shanxi Scholarship Council of China(2022-163);Social and Economic Statistical Research Project in Shanxi Province(KY［2022］73)

摘要/Abstract

摘要：

剩余寿命预测是复杂设备系统智能维护决策的关键和前提。不同指标数据间的潜在关系给预测的精度带来了挑战，参数的选择也增加了模型预测的困难。采用多尺度自适应注意力网络训练方法，别从纵向和横向两个维度融合数据间的特征关系，给出分段非线性目标函数，提高了预测的精度，降低了预测的均方根误差。使用自适应机制自动选择卷积核大小，提高了网络训练的效率。通过对涡扇发动机数据集进行实证分析验证了该方法在复杂系统剩余寿命预测中的有效性。

关键词: 剩余寿命预测, 多尺度学习, 自适应注意力, 非线性目标函数, 复杂系统

Abstract:

Remaining useful life prediction is the key to and premise of intelligent maintenance decision-making of complex equipment systems. The potential relationship among different index data brings challenges to prediction accuracy， while parameter selection also increases model prediction difficulty. We use the multi-scale adaptive attention network method to fuse the feature relationship among data from vertical and horizontal dimensions， respectively， and give the piecewise nonlinear target function to improve the prediction accuracy and reduce the root mean square error. The adaptive mechanism is employed to automatically select the size of convolution kernel， improving the efficiency of network training. Empirical analysis of Company-Modular aero-propulsion system simulation data sets prove the effectiveness of this method in remaining useful life prediction of complex systems.

Key words: remaining useful life, multi-scale learning, adaptive attention, nonlinear target function, complex systems

中图分类号:

V235.13

刘斌, 许靖, 霍美玲, 崔学英, 谢秀峰, 杨栋辉, 王嘉. 基于多尺度自适应注意力网络的剩余寿命预测[J]. 航空学报, 2023, 44(5): 226918-226918.

Bin LIU, Jing XU, Meiling HUO, Xueying CUI, Xiufeng XIE, Donghui YANG, Jia WANG. Remaining useful life prediction based on multi-scale adaptive attention network[J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2023, 44(5): 226918-226918.

图/表 19

图1

图2

图3

图4

表1

表2

表3

表4

图5

图6

图7

表5

表6

图8

图9

图10

图11

表7

表8

参考文献 24

1	沈保明，陈保家，赵春华，等. 深度学习在机械设备故障预测与健康管理中的研究综述［J］. 机床与液压， 2021， 49（19）： 162-171.
	SHEN B M， CHEN B J， ZHAO C H， et al. Review on the research of deep learning in mechanical equipment fault prognostics and health management［J］. Machine Tool & Hydraulics， 2021， 49（19）： 162-171 （in Chinese）.
2	许艳雷，邱明，李军星，等. 基于SKF-KF-Bayes的滚动轴承剩余使用寿命预测方法［J］. 振动与冲击， 2021， 40（19）： 26-31， 40.
	XU Y L， QIU M， LI J X， et al. Remaining useful life prediction method of rolling bearing based on SKF-KF-Bayes［J］. Journal of Vibration and Shock， 2021， 40（19）： 26-31， 40 （in Chinese）.
3	DAI Y， CHENG S， GAN Q J， et al. Life prediction of Ni-Cd battery based on linear Wiener process［J］. Journal of Central South University， 2021， 28（9）： 2919-2930.
4	WANG Y D， ZHAO Y F， ADDEPALLI S. Remaining useful life prediction using deep learning approaches： A review［J］. Procedia Manufacturing， 2020， 49： 81-88.
5	SATEESH BABU G， ZHAO P L， LI X L. Deep convolutional neural network based regression approach for estimation of remaining useful life［J］. International Conference on Database Systems for Advanced Applications， 2016， 9642： 214-228.
6	LI X， DING Q， SUN J Q. Remaining useful life estimation in prognostics using deep convolution neural networks［J］. Reliability Engineering & System Safety， 2018， 172： 1-11.
7	SAXENA A， GOEBEL K， SIMON D， et al. Damage propagation modeling for aircraft engine run-to-failure simulation［C］∥ 2008 International Conference on Prognostics and Health Management. Piscataway： IEEE Press， 2008： 10423504.
8	SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions［C］∥ 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2015： 1-9.
9	LI H. Remaining useful life prediction using multi-scale deep convolutional neural network［J］. Applied Soft Computing， 2020， 89： 106113.
10	LIM P， GOH C K， TAN K C， et al. Estimation of remaining useful life based on switching Kalman filter neural network ensemble［J］. Annual Conference of the Prognostics and Health Management Society， 2014， 6（1）： 1-9.
11	ZHENG S， RISTOVSKI K， FARAHAT A， et al. Long short-term memory network for remaining useful life estimation［C］∥ 2017 IEEE International Conference on Prognostics and Health Management. Piscataway： IEEE Press， 2017： 88-95.
12	GUO L， LI N， JIA F， et al. A recurrent neural network based health indicator for remaining useful life prediction of bearings［J］. Neurocomputing， 2017， 240： 98-109.
13	HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780.
14	CHO K， VAN MERRIENBOER B， GULCEHRE C， et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation［DB/OL］. arXiv preprint： 1406.1078， 2014.
15	CHEN J L， JING HJ， CHANG Y H， et al. Gated recurrent unit based recurrent neural network for remaining useful life prediction of nonlinear deterioration process［J］. Reliability Engineering & System Safety， 2019， 185： 372-382.
16	MA M， MAO Z. Deep-convolution-based LSTM network for remaining useful life prediction［J］. IEEE Transactions on Industrial Informatics， 2021， 17（3）： 1658-1667.
17	刘畅，陈雯柏. 一种基于MSDCNN-LSTM的设备RUL预测方法［J］. 西北工业大学学报， 2021， 39（2）： 407-413.
	LIU C， CHEN W B. A RUL prediction method of equipments based on MSDCNN-LSTM［J］. Journal of Northwestern Polytechnical University， 2021， 39（2）： 407-413 （in Chinese）.
18	KHAN S， YAIRI T. A review on the application of deep learning in system health management［J］. Mechanical Systems and Signal Processing， 2018， 107： 241-265.
19	PILLAI S， VADAKKEPAT P. Two stage deep learning for prognostics using multi-loss encoder and convolutional composite features［J］. Expert Systems with Applications， 2021， 171： 114569.
20	HEIMES F O. Recurrent neural networks for remaining useful life estimation［C］∥ 2008 International Conference on Prognostics and Health Management. Piscataway： IEEE Press， 2008： 10423512.
21	ZHU H G， ZENG H， LIU J， et al. Logish： A new nonlinear nonmonotonic activation function for convolutional neural network［J］. Neurocomputing， 2021， 458： 490-499.
22	WANG Q L， WU B G， ZHU P F， et al. ECA-net： Efficient channel attention for deep convolutional neural networks［C］∥ 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 11531-11539.
23	KINGMA D P， BA J L. Adam： A method for stochastic optimization［DB/OL］. arXiv preprint： 1412.6980， 2014.
24	WANG B， LEI Y， LI N， et al. Deep separable convolutional network for remaining useful life prediction of machinery［J］. Mechanical Systems and Signal Processing， 2019， 134： 106330.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

数据集	数量
数据集	FD001	FD002	FD003	FD004
训练集的发动机	100	260	100	249
测试集的发动机	100	259	100	248
总训练样本	20 631	53 579	24 720	61 249
总测试样本	13 096	33 991	16 596	41 214
失效模式	1	1	2	2
运行条件	1	6	1	6

数据集	K个传感器数据	抛弃指标的索引
FD001	14	2， 3， 4， 5， 9， 10， 14， 20， 22， 23
FD002	15	2， 3， 4， 5， 9， 10， 20， 22， 23
FD003	21	2， 3， 4
FD004	21	2， 3， 4

数据集	输入样本大小	训练样本数	验证样本数
FD001	40×14	11 711	5 020
FD002	40×15	30 533	13 086
FD003	50×21	15 273	6 547
FD004	50×21	34 333	14 715

参数	数值
3条支路上卷积层的核大小	10， 15， 20
扩张卷积的卷积核大小	2
扩张卷积的扩张率	2
两个全连接层卷积滤波器的个数	80， 60
时间窗口大小	40， 40， 50， 50
3条支路的卷积核个数	10， 10， 10
Dropout率	0.2

方法	RMSE
方法	FD001	FD002	FD003	FD004
CNN^［5］	18.45	30.29	19.82	29.16
DLSTM^［11］	16.14	24.49	16.18	28.17
DCNN^［6］	12.61	22.36	12.64	23.31
DSCN^［24］	10.95	20.47	10.62	22.64
MSCNN^［9］	11.44	19.35	11.67	22.22
MLE+CCF^［19］	11.57	18.84	11.83	20.78
MAAN	10.80	14.79	10.93	16.78

基于多尺度自适应注意力网络的剩余寿命预测

Remaining useful life prediction based on multi-scale adaptive attention network

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 19

参考文献 24

相关文章 8

编辑推荐

Metrics

本文评价

数据集	RMSE
数据集	线性	非线性
FD001	13.20±0.30	10.80±0.15
FD002	17.38±0.83	14.79±0.36
FD003	13.63±0.54	10.93±0.44
FD004	19.63±0.60	16.78±0.80

[1]	董青, 郑建飞, 胡昌华, 余铜辉, 牟含笑. 考虑随机冲击影响的自适应Wiener过程剩余寿命预测方法[J]. 航空学报, 2022, 43(9): 225914-225914.
[2]	张晟斐, 李天梅, 胡昌华, 杜党波, 司小胜. 基于深度卷积生成对抗网络的缺失数据生成方法及其在剩余寿命预测中的应用[J]. 航空学报, 2022, 43(8): 225708-225708.
[3]	牟含笑, 郑建飞, 胡昌华, 赵瑞星, 董青. 基于CDBN与BiLSTM的多元退化设备剩余寿命预测[J]. 航空学报, 2022, 43(7): 325403-325403.
[4]	任子强, 司小胜, 胡昌华, 王玺. 融合多传感器数据的发动机剩余寿命预测方法[J]. 航空学报, 2019, 40(12): 223312-223312.
[5]	张建勋, 胡昌华, 周志杰, 司小胜, 杜党波. 多退化变量下基于Copula函数的陀螺仪剩余寿命预测方法[J]. 航空学报, 2014, 35(4): 1111-1121.
[6]	吕弘;袁海文;张莉;袁海斌. 基于模式重要度的航空电源系统可靠性估计[J]. 航空学报, 2010, 31(3): 608-613.
[7]	张进;胡明华;张晨. 空中交通管理中的复杂性研究[J]. 航空学报, 2009, 30(11): 2132-2142.
[8]	王浚;余后满. 以人体为对象的三种调温措施组合特性研究[J]. 航空学报, 1994, 15(6): 679-684.

方法	评分函数值
方法	FD001	FD002	FD003	FD004
CNN^［5］	1 286.7	13 570	1 596.2	7 886.4
DLSTM^［11］	338	4 450	852	5 550
DCNN^［6］	273.7	10 412	284.1	12 466
DSCN^［24］	260.67	4 367.56	246.55	5 168.64
MSCNN^［9］	196.22	3 747	241.89	4 844
MLE+CCF^［19］	208	1 606	262	2 081
MAAN	183.77	901.71	214.17	1 189.11

数据集	评分函数值
数据集	线性	非线性
FD001	303.13±18.98	183.77±7.54
FD002	1 708.45±474.15	901.71±122.36
FD003	380.06±87.52	214.17±26.65
FD004	1 854.25±415.17	1 189.11±107.43