基于虚拟样本生成的铺丝表面缺陷检测

doi:10.7527/S1000-6893.2023.28624

材料工程与机械制造

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于虚拟样本生成的铺丝表面缺陷检测

甘纪强, 王小平()

南京航空航天大学机电学院，南京 210016

收稿日期:2023-02-27 修回日期:2023-03-29 接受日期:2023-09-22 出版日期:2024-01-15 发布日期:2023-11-07
通讯作者: 王小平 E-mail:levine@nuaa.edu.cn
基金资助:
国家自然科学基金(51575266)

Surface defect detection of fiber placement based on virtual sample generation

Jiqiang GAN, Xiaoping WANG()

College of Mechanical & Electrical Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China

Received:2023-02-27 Revised:2023-03-29 Accepted:2023-09-22 Online:2024-01-15 Published:2023-11-07
Contact: Xiaoping WANG E-mail:levine@nuaa.edu.cn
Supported by:
National Natural Science Foundation of China(51575266)

摘要/Abstract

摘要：

自动铺丝构件在实际生产过程中会受到环境和工艺等因素的影响，从而导致缺陷的产生并对铺丝构件以及装配整体带来严重危害。由于自动铺丝成型技术的保密性以及制造工艺昂贵和耗时等因素，有关缺陷图像的样本数据集难以获取，造成了小样本学习的问题。提出通过虚拟样本生成的方法来扩容数据集并将其作为目标检测网络的输入训练样本。针对铺丝缺陷特点，在YOLOv5s中添加坐标注意力机制来优化设计，得到最终的目标检测网络模型并命名为Place-YOLO，其精度值为0.941，平均精度均值mAP为0.833，与原始YOLOv5s相比提升了1.8%。

关键词: 自动铺丝, 生成对抗网络, 虚拟样本生成, 目标检测, 注意力机制

Abstract:

Automated Fiber Placement （AFP） components are affected by environmental and technological factors in the actual production process， leading to the generation of defects and posing serious harm to the fiber placement components and the overall assembly. Due to the confidentiality of AFP and forming technology， as well as the expensive and time-consuming manufacturing process， it is difficult to obtain sample datasets related to defect images， resulting in the problem of small sample learning. This article proposes a method of expanding the dataset through virtual sample generation and using it as input training samples for the target detection network. In response to the characteristics of fiber placement defects， a coordinate attention mechanism was added to YOLOv5s to optimize the design. The final target detection network model was named Place YOLO， with an accuracy value of 0.941 and a mean Average Precision （mAP） of 0.833， which is 1.8% higher than that of the original YOLOv5s.

Key words: automated fiber placement, generative adversarial network, virtual sample generation, object detection, attention mechanism

中图分类号:

V258⁺.3

甘纪强, 王小平. 基于虚拟样本生成的铺丝表面缺陷检测[J]. 航空学报, 2024, 45(1): 428624-428624.

Jiqiang GAN, Xiaoping WANG. Surface defect detection of fiber placement based on virtual sample generation[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(1): 428624-428624.

图/表 19

图 1

图 2

图 3

表1

表2

图 4

表 3

图 5

图 6

图 7

图 8

图 9

表4

图 10

图 11

图 12

图 13

表5

图 14

参考文献 33

1	原崇新，李妍，潘杰，等. 自动铺丝过程中的典型缺陷及原因分析［J］. 航空制造技术， 2019， 62（4）： 66-74.
	YUAN C X， LI Y， PAN J， et al. Typical defects and causes analysis of automated fiber placement［J］. Aeronautical Manufacturing Technology， 2019， 62（4）： 66-74 （in Chinese）.
2	张小辉，朱玉祥，张少秋，等. 先进复合材料自动铺丝技术研究进展［J］. 航空制造技术， 2018， 61（7）： 54-61.
	ZHANG X H， ZHU Y X， ZHANG S Q， et al. Research progress on automated fiber placement technology［J］. Aeronautical Manufacturing Technology， 2018， 61（7）： 54-61 （in Chinese）.
3	WANIGASEKARA C， OROMIEHIE E， SWAIN A， et al. Machine learning based predictive model for AFP-based unidirectional composite laminates［J］. IEEE Transactions on Industrial Informatics， 2020，16（4）： 2315-2324.
4	SMITH R， QURESHI Z， SCAIFE R， et al. Limitations of processing carbon fibre reinforced plastic/polymer material using automated fibre placement technology［J］. Reinforced Plastics & Composites， 2016， 35（21）： 1527-1542.
5	HEINECKE F， WILLBERG C. Manufacturing-induced imperfections in composite parts manufactured via automated fiber placement［J］. Composites Science， 2019， 3（2）： 56-56.
6	丁希仑，罗伟恒，刘斐，等. 自动铺丝成型构件缺陷在线检测技术进展［J］. 北京航空航天大学学报， 2022， 48（9）： 1721-1733.
	DING X L， LUO W H， LIU F， et al. Review on automated fiber placement induced defects and their online monitoring technology［J］. Journal of Beijing University of Aeronautics and Astronautics， 2022， 48（9）： 1721-1733 （in Chinese）.
7	倪金辉. 基于机器视觉的预浸纱缺陷检测系统的研究［D］. 南京：南京航空航天大学， 2015.
	NI J H， Defect detection system for prepreg based on machine vision［D］. Nanjing： Nanjing University of Aeronautics and Astronautics， 2015 （in Chinese）.
8	康硕，柯臻铮，王璇，等. 基于红外和可见光图像融合的铺丝缺陷检测方法［J］. 航空学报， 2022， 43（3）： 425187.
	KANG S， KE Z Z， WANG X， et al. Detection method of defects in automatic fiber placement based on fusion of infrared and visible images［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（3）： 425187 （in Chinese）.
9	蔡志强，肖军，文立伟，等. 基于预浸纱自动铺放缺陷的分割算法［J］. 航空材料学报， 2017， 37（2）： 21-27.
	CAI Z Q， XIAO J， WEN L W， et al. Algorithm of defect segmentation for AFP based on prepregs［J］. Journal of Aeronautical Materials， 2017， 37（2）： 21-27 （in Chinese）.
10	吕昊远，俞璐，周星宇，等. 半监督深度学习图像分类方法研究综述［J］. 计算机科学与探索， 2021， 15（6）： 1038-1048.
	LV H Y， YU L， ZHOU X Y， et al. Review of semi-supervised deep learning image classification methods［J］. Journal of Frontiers of Computer Science & Technology， 2021， 15（6）： 1038-1048 （in Chinese）.
11	赵朗月，吴一全. 基于机器视觉的表面缺陷检测方法研究进展［J］. 仪器仪表学报， 2022， 43（1）： 198-219.
	ZHAO L Y， WU Y Q. Research progress of surface defect detection methods based on machine vision［J］. Chinese Journal of Scientific Instrument， 2022， 43（1）： 198-219 （in Chinese）.
12	汤勃，孔建益，伍世虔. 机器视觉表面缺陷检测综述［J］. 中国图象图形学报， 2017， 22（12）： 1640-1663.
	TANG B， KONG J Y， WU S Q. Review of surface defect detection based on machine vision［J］. Journal of Image and Graphics， 2017， 22（12）： 1640-1663 （in Chinese）.
13	SHAHAM R T， DEKEL T， MICHAELI T. SinGAN： learning a generative model from a single natural image ［C］∥Proceedings of the IEEE International Conference on Computer Vision. 2019： 4570-4580.
14	刘剑超，相洁，张玲，等. 一种自约束的小样本缺损图像分割方法［J］. 小型微型计算机系统， 2022， 43（8）： 1732-1738.
	LIU J C， XIANG J， ZHANG L， et al. Level-set rectified U-net for few-shot fouling image segmentation［J］. Journal of Chinese Mini-Micro Computer Systems， 2022， 43（8）： 1732-1738 （in Chinese）.
15	王坤峰，苟超，段艳杰，等. 生成式对抗网络GAN的研究进展与展望［J］. 自动化学报， 2017， 43（3）： 321-332.
	WANG K F， GOU C， DUAN Y J， et al. Generative adversarial networks： The state of the art and beyond［J］. Acta Automatica Sinica， 2017， 43（3）： 321-332 （in Chinese）.
16	HINZ T， FISHER M， WANG O， et al. Improved techniques for training single-image GANs［C］∥2021 IEEE Winter Conference on Applications of Computer Vision. 2021： 1299-1308.
17	刘伟韬. 基于SinGAN的图像生成模型［J］. 曲阜师范大学学报（自然科学版）， 2020， 46（2）： 67-71.
	LIU W T. Image generative model based on single generative adversarial network［J］. Journal of Qufu Normal University （Natural Science Edition）， 2020， 46（2）： 67-71 （in Chinese）.
18	程国建，张福临. 基于SinGAN的岩石薄片图像超分辨率重建［J］. 西安石油大学学报（自然科学版）， 2021， 36（2）： 116-121.
	CHENG G J， ZHANG F L. Super-resolution reconstruction of rock slice image based on SinGAN［J］. Journal of Xi’an Shiyou University （Natural Science Edition）， 2021， 36（2）： 116-121 （in Chinese）.
19	SONGWEI G， RUI Z， HONGXIA L， et al. Improved SinGAN integrated with an attentional mechanism for remote sensing image classification［J］. Remote Sensing， 2021， 13（9）： 1713.
20	王星，高峰，陈吉，等. 基于GAN网络的煤岩图像样本生成方法［J］. 煤炭学报， 2021， 46（9）： 3066-3078.
	WANG X， GAO F， CHEN J， et al. Generative adversarial networks based sample generation of coal and rock images［J］. Journal of China Coal Society， 2021， 46（9）： 3066-3078 （in Chinese）.
21	尹宏鹏，陈波，柴毅，等. 基于视觉的目标检测与跟踪综述［J］. 自动化学报， 2016， 42（10）： 1466-1489.
	YIN H P， CHEN B， CHAI Y， et al. Vision-based object detection and tracking： A review［J］. Acta Automatica Sinica， 2016， 42（10）： 1466-1489 （in Chinese）.
22	王玲敏，段军，辛立伟. 引入注意力机制的YOLOv5安全帽佩戴检测方法［J］. 计算机工程与应用， 2022， 58（9）： 303-312.
	WANG L M， DUAN J， XIN L W. YOLOv5 helmet wear detection method with introduction of attention mechanism［J］. Computer Engineering and Applications， 2022， 58（9）： 303-312 （in Chinese）.
23	HOU Q， ZHOU D， FENG J. Coordinate attention for efficient mobile network design［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021： 13708-13717.
24	任欢，王旭光. 注意力机制综述［J］. 计算机应用， 2021， 41（S1）： 1-6.
	REN H， WANG X G. Review of attention mechanism［J］. Journal of Computer Applications， 2021， 41（S1）： 1-6 （in Chinese）.
25	赵璐璐，王学营，张翼，等. 基于YOLOv5s融合SENet的车辆目标检测技术研究［J］. 图学学报， 2022， 43（5）： 776-782.
	ZHAO L L， WANG X Y， ZHANG Y， et al. Vehicle target detection based on YOLOv5s fusion SENet［J］. Journal of Graphics， 2022， 43（5）： 776-782 （in Chinese）.
26	陈志军，胡军楠，冷姚，等. 基于轻量化网络和注意力机制的智能车快速目标识别方法［J］. 交通运输系统工程与信息， 2022， 22（6）： 105-113.
	CHEN Z J， HU J N， LENG Y， et al. Intelligent vehicle target fast recognition based on lightweight network and attention mechanism［J］. Journal of Transportation Systems Engineering and Information Technology， 2022， 22（6）： 105-113 （in Chinese）.
27	于海洋，景鹏，张文涛，等. 基于残差与注意力机制的道路裂缝检测U-Net改进模型［J］. 计算机工程， 2023， 49（6）： 265-273.
	YU H Y， JING P， ZHANG W T， et al. Improved U-Net model for road crack detection based on residual and attention mechanism［J］. Computer Engineering， 2023， 49（6）： 265-273 （in Chinese）.
28	佟雨兵，张其善，祁云平. 基于PSNR与SSIM联合的图像质量评价模型［J］. 中国图象图形学报， 2006（12）： 1758-1763.
	TONG Y B， ZHANG Q S， QI Y P. Image quality assessing by combining PSNR with SSIM［J］. Journal of Image and Graphics， 2006（12）： 1758-1763 （in Chinese）.
29	高瑶，肖卫国，王力，等. 关于红外图像目标检测评价仿真研究［J］. 计算机仿真， 2016， 33（11）： 33-36， 52.
	GAO Y， XIAO W G， WANG L， et al. Study on simulation and evaluation of infrared image target detection［J］. Computer Integrated Manufacturing Systems， 2016， 33（11）： 33-36， 52 （in Chinese）.
30	REN S， HE K， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
31	BERG A C， FU C Y， SZEGEDY C， et al. SSD： Single Shot MultiBox Detector ［DB/OL］. arXiv：.
32	REDMON J， FARHADI A. YOLOv3： An incremental improvement［C］∥Conference on Computer Vision and Pattern Recognition. 2018： 1-6
33	BOCHKOVSKIY A， WANG C Y， LIAO H. YOLOv4： Optimal speed and accuracy of object detection ［DB/OL］. arXiv：.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

评估指标	含义
准确率（Accuracy）	正确分类的样本数与全部样本数的比值
召回率（Recall）	测试集中所有正确样本被正确识别的比例
精确率（Precision）	检测样本中，正确样本的比例
平均精确度（Average Precision， AP）	Precision-Recall曲线组成的面积，与分类器质量呈正相关
平均精确度均值（mean Average Precision， mAP）	所有类别AP的平均值

评估指标	含义
前传耗时/ms	输入单张图像到输出结果的耗时情况
每秒帧数（Frame Per Second， FPS）	检测器每秒能处理图片的张数
浮点运算量（FLOPS）	浮点运算次数，衡量算法/模型的复杂度

参数	含义	设置值
nfc	Number of filters per conv layer	64
ker_size	Kernel size	3
num_layer	Number of layers per stage	3
padd_size	Net pad size	0
nc_im	Image channels	3
noise_amp	Additive noise cont weight	0.1
min_size	Image minimal size at the coarser scale	25
max_size	Image maximal size at the coarser scale	250
train_depth	How many layers are trained if growing	3
lr_g	Learning rate of generator	0.000 5
lr_d	Learning rate of discriminator	0.000 5
beta1	Beta1 for adam	0.5
lambda_grad	Gradient penalty weight	0.1
alpha	Reconstruction loss weight	10

缺陷类型	随机生成图像		重建图像
缺陷类型	PSNR	SSIM	PSNR	SSIM
twist	29.110 6	30.418%	38.214 4	95.859%
wrinkle	29.192 3	30.438%	36.372 9	94.527%
bridge	30.436 6	62.821%	39.548 3	96.906%
foreign body	30.374 7	62.275%	37.348 1	93.927%
gap	32.057 2	69.317%	41.137 9	95.840%
wire break	31.464 7	74.873%	39.653 7	95.453%

模型	mAP@0.5	FPS	权重/MB	Precision
Faster R-CNN	0.780 2	5	108	0.886
SSD	0.721 6	36	93.2	0.836
YOLOv3	0.433	43	235	0.753
YOLOv3-CA	0.586	45	228	0.835
YOLOv4	0.720 2	52	244	0.893
YOLOv4-CA	0.764 8	55	231	0.915
YOLOv5s	0.815	60	54.5	0.940
Place-YOLO	0.833	65	13.7	0.941

基于虚拟样本生成的铺丝表面缺陷检测

Surface defect detection of fiber placement based on virtual sample generation

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 19

参考文献 33

相关文章 15

编辑推荐

Metrics

本文评价

[1]	奉志强, 谢志军, 包正伟, 陈科伟. 基于改进YOLOv5的无人机实时密集小目标检测算法[J]. 航空学报, 2023, 44(7): 327106-327106.
[2]	冒国韬, 邓天民, 于楠晶. 基于多尺度分割注意力的无人机航拍图像目标检测算法[J]. 航空学报, 2023, 44(5): 326738-326738.
[3]	贾宝惠, 姜番, 王玉鑫, 王杜. 基于民机维修文本数据的故障诊断方法[J]. 航空学报, 2023, 44(5): 326598-326598.
[4]	姚俞成, 李旭, 徐启敏, 孔栋. 基于特征增强和校准的航拍车辆实例分割方法[J]. 航空学报, 2023, 44(24): 328397-328397.
[5]	李晓航, 周建江. 基于自适应记忆长度的多尺度模态融合网络[J]. 航空学报, 2023, 44(22): 628977-628977.
[6]	张毅, 张焱, 张宇, 张勇, 刘荻. 基于多级特征增强融合的红外飞机目标检测方法[J]. 航空学报, 2023, 44(22): 629220-629220.
[7]	苑玉彬, 吴一全, 赵朗月, 陈金林, 赵其昌. 基于深度学习的无人机航拍视频多目标检测与跟踪研究进展[J]. 航空学报, 2023, 44(18): 28334-028334.
[8]	田洁华, 孙迪, 屈峰, 白俊强. 基于CST⁃GAN的翼型参数化方法[J]. 航空学报, 2023, 44(18): 128280-128280.
[9]	宋玉存, 葛泉波, 朱军龙, 陆振宇. 基于梯度差自适应学习率优化的改进YOLOX目标检测算法[J]. 航空学报, 2023, 44(14): 327951-327951.
[10]	李子豪, 王正平, 贺云涛. 基于自适应协同注意力机制的航拍密集小目标检测算法[J]. 航空学报, 2023, 44(13): 327944-327944.
[11]	王强, 吴乐天, 王勇, 王欢, 杨万扣. 基于关键点检测的红外弱小目标检测[J]. 航空学报, 2023, 44(10): 328173-328173.
[12]	孙秀一, 胡绍海, 马晓乐. 基于无监督深度学习的红外与可见光图像融合[J]. 航空学报, 2022, 43(S1): 726938-726938.
[13]	冉庆波, 肖鸿, 杨富鸿, 段玉岗. 含孔曲面自动铺丝轨迹规划算法[J]. 航空学报, 2022, 43(9): 425602-425602.
[14]	张晟斐, 李天梅, 胡昌华, 杜党波, 司小胜. 基于深度卷积生成对抗网络的缺失数据生成方法及其在剩余寿命预测中的应用[J]. 航空学报, 2022, 43(8): 225708-225708.
[15]	吕帅帅, 杨宇, 王彬文, 殷晨飞. 基于改进FaceNet的飞行器结构裂纹识别方法[J]. 航空学报, 2022, 43(6): 525463-525463.