基于深度学习的结冰区域和厚度检测方法

doi:10.7527/S1000-6893.2023.29283

结冰与防除冰

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于深度学习的结冰区域和厚度检测方法

苏鑫¹^,², 管润程¹^,², 王桥³, 苑伟政¹^,², 吕湘连¹^,², 何洋¹^,²()

^1.西北工业大学空天微纳系统教育部重点实验室，西安 710072
^2.西北工业大学陕西省微/纳米系统重点实验室，西安 710072
^3.中国空气动力研究与发展中心结冰与防除冰重点实验室，绵阳 621000

收稿日期:2023-07-10 修回日期:2023-07-16 接受日期:2023-08-07 出版日期:2023-08-21 发布日期:2023-08-18
通讯作者: 何洋 E-mail:heyang@nwpu.edu.cn
基金资助:
国家自然科学基金(51875478);航空科学基金(2017ZC53036)

Ice area and thickness detection method based on deep learning

Xin SU¹^,², Runcheng GUAN¹^,², Qiao WANG³, Weizheng YUAN¹^,², Xianglian LYU¹^,², Yang HE¹^,²()

^1.Key Lab of Micro/Nano Systems for Aerospace，Ministry of Education，Northwestern Polytechnical University，Xi’an 710072，China
^2.Shaan’xi Key Lab of MEMS/NEMS，Northwestern Polytechnical University，Xi’an 710072，China
^3.Key Laboratory of Icing and Anti/De-icing，China Aerodynamics Research and Development Center，Mianyang 621000，China

Received:2023-07-10 Revised:2023-07-16 Accepted:2023-08-07 Online:2023-08-21 Published:2023-08-18
Contact: Yang HE E-mail:heyang@nwpu.edu.cn
Supported by:
National Natural Science Foundation of China(51875478);Aeronautical Science Foundation of China(2017ZC53036)

摘要/Abstract

摘要：

飞机结冰问题是飞机安全飞行的最大威胁之一，在世界军、民飞机事故中占一半以上，因此对飞机飞行时期结冰状态进行检测尤为重要。目前传统的结冰传感器只能定点检测结冰信息，无法反馈整体区域的结冰状态。提出一种大面积结冰检测方法，利用深度学习算法，建立翼型实时结冰检测模型，以相机采集到的机身图像作为输入，实时检测并分割出翼型结冰区域，计算得到翼型前缘结冰厚度。在自建的结冰数据集中进行验证试验，结果表明：该算法的平均准确率可达99.32%，平均交并比可达93.20%，并且在1.5 m的距离下理论空间分辨率约为0.4 mm，实际测量误差在1 mm以内，实时性检测帧率为4 frame/s。试验证明该方法具有较好的检测效果，有望为飞机结冰检测和地面冰风洞试验奠定研究基础。

关键词: 深度学习, 语义分割, 结冰检测, 厚度检测, UNet

Abstract:

Aircraft icing has become one of the biggest threats to safe flight of aircraft， accounting for more than half of military and civil aircraft accidents in the world. Therefore， it is extremely important to detect the icing conditions during flight. Traditional icing sensors can only detect icing information at fixed points and cannot provide feedback on the icing status of overall area. In this paper， a large-area icing detection method is proposed， and a real-time airfoil icing detection model is established by using deep learning algorithm. Airfoil icing area is detected and segmented in real time using the fuselage image captured by cameras as input， and the icing thickness of the airfoil leading edge is calculated. The experimental results from the self-built icing dataset show that the average accuracy of the algorithm is 99.32%， the mean intersection over union is 93.20%， the theoretical spatial resolution is approximately 0.4 mm at a distance of 1.5 m， the actual measurement error is within 1 mm， and the real-time detection frame rate is 4 frame/s. The experiments demonstrate that this method has excellent detection performance， and potentially lay research foundation for aircraft icing detection and ground icing wind tunnel tests.

Key words: deep learning, semantic segmentation, ice detection, thickness detection, UNet

中图分类号:

V244.1

苏鑫, 管润程, 王桥, 苑伟政, 吕湘连, 何洋. 基于深度学习的结冰区域和厚度检测方法[J]. 航空学报, 2023, 44(S2): 729283-729283.

Xin SU, Runcheng GUAN, Qiao WANG, Weizheng YUAN, Xianglian LYU, Yang HE. Ice area and thickness detection method based on deep learning[J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(S2): 729283-729283.

图/表 11

图 1

图 2

表 1

图 3

表 2

图 4

表 3

图 5

图 6

图 7

表 4

参考文献 27

1	桂业伟，周志宏，李颖晖，等. 关于飞机结冰的多重安全边界问题［J］. 航空学报， 2017， 38（2）： 520734.
	GUI Y W， ZHOU Z H， LI Y H， et al. Multiple safety boundaries protection on aircraft icing［J］. Acta Aeronautica et Astronautica Sinica， 2017， 38（2）： 520734 （in Chinese）.
2	朱东宇，张付昆，裴如男，等. 临界冰形确定方法及其对气动特性影响研究［J］. 空气动力学学报， 2016， 34（6）： 714-720.
	ZHU D Y， ZHANG F K， PEI R N， et al. Research on critical ice shape determination and its effects on aerodynamics［J］. Acta Aerodynamica Sinica， 2016， 34（6）： 714-720 （in Chinese）.
3	薛源，徐浩军，裴彬彬，等. 基于蒙特卡罗法的飞机结冰后动力学特性分析［J］. 实验流体力学， 2016， 30（2）： 26-31， 37.
	XUE Y， XU H J， PEI B B， et al. Dynamic characteristics analysis after aircraft icing based on Monte Carlo method［J］. Journal of Experiments in Fluid Mechanics， 2016， 30（2）： 26-31， 37 （in Chinese）.
4	YAN Z X， HE Y， YUAN W Z. Anti-icing skin with micro-nano structure inspired by Fargesia qinlingensis［J］. Transactions of Nanjing University of Aeronautics and Astronautics， 2023， 40（2）： 115-123.
5	张杰，周磊，张洪，等. 飞机结冰探测技术［J］. 仪器仪表学报， 2006， 27（12）： 1578-1586.
	ZHANG J， ZHOU L， ZHANG H， et al. Aircraft icing detection technology［J］. Chinese Journal of Scientific Instrument， 2006， 27（12）： 1578-1586 （in Chinese）.
6	任宏宇. 双余度结冰探测系统的研究与开发［D］. 武汉：华中科技大学， 2021： 4-10.
	REN H Y. Research and development of dual redundancy ice detection system［D］. Wuhan： Huazhong University of Science and Technology， 2021： 4-10 （in Chinese）.
7	ZHI X， CHO H C， WANG B， et al. Development of a capacitive ice sensor to measure ice growth in real time［J］. Sensors， 2015， 15（3）： 6688-6698.
8	FLATSCHER M， NEUMAYER M， BRETTERKLIE⁃ BER T. Maintaining critical infrastructure under cold climate conditions： A versatile sensing and heating concept［J］. Sensors and Actuators A： Physical， 2017， 267： 538-546.
9	王岩，王渊，朱程香，等. 谐振式飞机结冰探测传感器仿真及实验研究［J］. 南京航空航天大学学报， 2022， 54（2）： 267-273.
	WANG Y， WANG Y， ZHU C X， et al. Simulation and experimental study of aircraft icing detection sensor by resonant［J］. Journal of Nanjing University of Aeronautics & Astronautics， 2022， 54（2）： 267-273 （in Chinese）.
10	ZOU J H， YE L， GE J F. Ice type detection using an oblique end-face fibre-optic technique［J］. Measurement Science and Technology， 2013， 24（3）： 035201.
11	白天，朱春玲，李清英，等. 压电双晶片悬臂梁结构用于结冰探测的研究［J］. 航空学报， 2013， 34（5）： 1073-1082.
	BAI T， ZHU C L， LI Q Y， et al. Study of bimorph piezoelectric cantilever structure used on icing detection［J］. Acta Aeronautica et Astronautica Sinica， 2013， 34（5）： 1073-1082 （in Chinese）.
12	周志炜，李起栋，张鹏. 振管式结冰检测传感器设计优化及改进［J］. 传感器世界， 2017， 23（7）： 17-20.
	ZHOU Z W， LI Q D， ZHANG P. Optimization and improvement in design of vibrating tube icing detection sensor［J］. Sensor World， 2017， 23（7）： 17-20 （in Chinese）.
13	赵伟伟. 基于压电材料的飞机结冰探测系统［D］. 南京：南京航空航天大学， 2018： 24-40.
	ZHAO W W. Aircraft icing detection system based on piezoelectric materials［D］. Nanjing： Nanjing University of Aeronautics and Astronautics， 2018： 24-40 （in Chinese）.
14	赵伟伟，朱春玲，陶明杰，等. 超声导波技术用于飞机结冰探测的实验研究［J］. 压电与声光， 2018， 40（2）： 269-275.
	ZHAO W W， ZHU C L， TAO M J， et al. Experimental study on ultrasonic guided wave technology for aircraft icing detection［J］. Piezoelectrics & Acoustooptics， 2018， 40（2）： 269-275 （in Chinese）.
15	郭奕兵. 基于FBG传感和石墨烯薄膜的风机结冰监测与除冰［D］. 哈尔滨：哈尔滨工业大学， 2018： 16-36.
	GUO Y B. Graphene film combined with FBG sensor for icing monitoring and de-icing of wind turbine ［D］.Harbin： Harbin Institute of Technology， 2018： 16-36 （in Chinese）.
16	武晋文，王华征，宋继红. 振筒式结冰探测器硬件电路设计［J］. 集成电路应用， 2020， 37（7）： 20-21.
	WU J W， WANG H Z， SONG J H. Design of hardware circuit of ice detector with vibrating cylinder［J］. Application of IC， 2020， 37（7）： 20-21 （in Chinese）.
17	易贤，李维浩，王应宇，等. 飞机结冰传感器安装位置确定方法［J］. 实验流体力学， 2018， 32（2）： 48-54.
	YI X， LI W H， WANG Y Y， et al. Method of determining the location for aircraft icing prober［J］. Journal of Experiments in Fluid Mechanics， 2018， 32（2）： 48-54 （in Chinese）.
18	AKHLOUFI M， BENMESBAH N. Outdoor ice accretion estimation of wind turbine blades using computer vision［C］∥2014 Canadian Conference on Computer and Robot Vision. Piscataway： IEEE Press， 2014： 246-253.
19	ZHUGE J C， YU Z J， GAO J S， et al. Influence of color coatings on aircraft surface ice detection based on multi-wavelength imaging［J］. Optoelectronics Letters， 2016， 12（2）： 144-147.
20	郭龙，秦三春，李强，等. 基于机器视觉的飞机模型冰形轮廓提取方法研究［J］. 自动化与仪器仪表， 2020（6）： 15-20.
	GUO L， QIN S C， LI Q， et al. Research on ice contour extraction of aircraft model based on machine vision［J］. Automation & Instrumentation， 2020（6）： 15-20 （in Chinese）.
21	NOLTE M， KISTER N， MAURER M. Assessment of deep convolutional neural networks for road surface classification［C］∥2018 21st International Conference on Intelligent Transportation Systems （ITSC）. Piscataway： IEEE Press， 2018： 381-386.
22	LIANG C J， GE J F， ZHANG W， et al. Winter road surface status recognition using deep semantic segmentation network［C］∥Proceedings of the International Workshop on Atmospheric Icing of Structures （IWAIS 2019）. Cham： Springer， 2020： 91-100.
23	ZEILER M D， FERGUS R. Visualizing and understanding convolutional networks［C］∥European Conference on Computer Vision. Cham： Springer， 2014： 818-833.
24	RONNEBERGER O， FISCHER P， BROX T. U-net： Convolutional networks for biomedical image segmentation［C］∥International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham： Springer， 2015： 234-241.
25	JIA Y Q， SHELHAMER E， DONAHUE J， et al. Caffe： Convolutional architecture for fast feature embedding［C］∥Proceedings of the 22nd ACM international conference on Multimedia. New York： ACM， 2014： 675-678.
26	HE K M， ZHANG X Y， REN S Q， et al. Delving deep into rectifiers： Surpassing human-level performance on ImageNet classification［C］∥2015 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2016： 1026-1034.
27	ZHANG Z. A flexible new technique for camera calibration［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（11）： 1330-1334.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

Batch size	1	2	4	8	16
平均准确率/%	97.34	97.96	98.02	99.36	99.32
平均交并比/%	80.57	84.44	85.04	93.61	93.20

类别	准确率/%	召回率/%	交并比/%
背景	99.61	99.67	99.28
冰	99.68	92.57	87.12

编号	计算耗时/s	总耗时/s
平均	0.57	1.88
1	0.55	1.80
2	0.62	2.10
3	0.59	1.90
4	0.48	1.80
5	0.61	1.80
6	0.54	1.90
7	0.58	2.00
8	0.60	1.80
9	0.56	1.80

编号	1	2	3	4
手动测量/mm	9.5±0.5	8.0±0.5	10.0±0.5	10.5±0.5
视觉检测/mm	9.6±0.4	8.0±0.4	10.0±0.4	10.4±0.4

[1]	刘海桥, 刘萌, 龚子超, 董晶. 基于深度学习的图像匹配方法综述[J]. 航空学报, 2024, 45(3): 28796-028796.
[2]	陈立群, 邹旭, 张磊, 朱颖盼, 王港, 陈金勇. 基于国产商用器件的星载智能目标检测技术[J]. 航空学报, 2023, 44(S2): 728860-728860.
[3]	刘鹏宇, 朱雪耀. 基于深度学习的融合空域空管指令语义解析技术[J]. 航空学报, 2023, 44(S1): 727592-727592.
[4]	何磊, 钱炜祺, 董康生, 易贤, 柴聪聪. 基于卷积神经网络的结冰翼型气动特性建模[J]. 航空学报, 2023, 44(5): 126434-126434.
[5]	丁鹏, 宋亚飞. 代价敏感的空中目标意图识别方法[J]. 航空学报, 2023, 44(24): 328551-328551.
[6]	李晓航, 周建江. 基于自适应记忆长度的多尺度模态融合网络[J]. 航空学报, 2023, 44(22): 628977-628977.
[7]	罗皓文, 何绍溟, 金天宇, 刘子超. 基于迁移学习的角度约束时间最短制导算法[J]. 航空学报, 2023, 44(19): 328400-328400.
[8]	赵鋆赫, 王生楠. 基于深度学习的权函数法应力强度因子求解[J]. 航空学报, 2023, 44(19): 228367-228367.
[9]	高树一, 林德福, 郑多, 胡馨予. 针对集群攻击的飞行器智能协同拦截策略[J]. 航空学报, 2023, 44(18): 328301-328301.
[10]	苑玉彬, 吴一全, 赵朗月, 陈金林, 赵其昌. 基于深度学习的无人机航拍视频多目标检测与跟踪研究进展[J]. 航空学报, 2023, 44(18): 28334-028334.
[11]	张荣升, 吴燕生, 秦旭东, 张普卓. 基于深度学习的高空风在线估计及预报方法[J]. 航空学报, 2023, 44(13): 327860-327860.
[12]	王强, 吴乐天, 王勇, 王欢, 杨万扣. 基于关键点检测的红外弱小目标检测[J]. 航空学报, 2023, 44(10): 328173-328173.
[13]	苏翎菲, 化永朝, 董希旺, 任章. 人与无人机集群多模态智能交互方法[J]. 航空学报, 2022, 43(S1): 727001-727001.
[14]	赵良玉, 李丹, 赵辰悦, 蒋飞. 无人机自主降落标识检测方法若干研究进展[J]. 航空学报, 2022, 43(9): 25882-025882.
[15]	曹明, 王鹏, 左洪福, 曾海军, 孙见忠, 杨卫东, 魏芳, 陈雪峰. 民用航空发动机故障诊断与健康管理现状、挑战与机遇Ⅱ: 地面综合诊断、寿命管理和智能维护维修决策[J]. 航空学报, 2022, 43(9): 625574-625574.

基于深度学习的结冰区域和厚度检测方法

Ice area and thickness detection method based on deep learning

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 27

相关文章 15

编辑推荐

Metrics

本文评价