基于虚拟样本生成的铺丝表面缺陷检测

doi:10.7527/S1000-6893.2023.28624

Abstract

Abstract:

Automated Fiber Placement （AFP） components are affected by environmental and technological factors in the actual production process， leading to the generation of defects and posing serious harm to the fiber placement components and the overall assembly. Due to the confidentiality of AFP and forming technology， as well as the expensive and time-consuming manufacturing process， it is difficult to obtain sample datasets related to defect images， resulting in the problem of small sample learning. This article proposes a method of expanding the dataset through virtual sample generation and using it as input training samples for the target detection network. In response to the characteristics of fiber placement defects， a coordinate attention mechanism was added to YOLOv5s to optimize the design. The final target detection network model was named Place YOLO， with an accuracy value of 0.941 and a mean Average Precision （mAP） of 0.833， which is 1.8% higher than that of the original YOLOv5s.

Key words: automated fiber placement, generative adversarial network, virtual sample generation, object detection, attention mechanism

CLC Number:

V258⁺.3

Jiqiang GAN, Xiaoping WANG. Surface defect detection of fiber placement based on virtual sample generation[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(1): 428624-428624.

Figures/Tables 19

Fig.1

Fig.2

Fig.3

Table 1

Table 2

Fig.4

Table 3

Fig.5

Fig.6

Fig.7

Fig.8

Fig.9

Table 4

Fig.10

Fig.11

Fig.12

Fig.13

Table 5

Fig.14

References 33

1	原崇新，李妍，潘杰，等. 自动铺丝过程中的典型缺陷及原因分析［J］. 航空制造技术， 2019， 62（4）： 66-74.
	YUAN C X， LI Y， PAN J， et al. Typical defects and causes analysis of automated fiber placement［J］. Aeronautical Manufacturing Technology， 2019， 62（4）： 66-74 （in Chinese）.
2	张小辉，朱玉祥，张少秋，等. 先进复合材料自动铺丝技术研究进展［J］. 航空制造技术， 2018， 61（7）： 54-61.
	ZHANG X H， ZHU Y X， ZHANG S Q， et al. Research progress on automated fiber placement technology［J］. Aeronautical Manufacturing Technology， 2018， 61（7）： 54-61 （in Chinese）.
3	WANIGASEKARA C， OROMIEHIE E， SWAIN A， et al. Machine learning based predictive model for AFP-based unidirectional composite laminates［J］. IEEE Transactions on Industrial Informatics， 2020，16（4）： 2315-2324.
4	SMITH R， QURESHI Z， SCAIFE R， et al. Limitations of processing carbon fibre reinforced plastic/polymer material using automated fibre placement technology［J］. Reinforced Plastics & Composites， 2016， 35（21）： 1527-1542.
5	HEINECKE F， WILLBERG C. Manufacturing-induced imperfections in composite parts manufactured via automated fiber placement［J］. Composites Science， 2019， 3（2）： 56-56.
6	丁希仑，罗伟恒，刘斐，等. 自动铺丝成型构件缺陷在线检测技术进展［J］. 北京航空航天大学学报， 2022， 48（9）： 1721-1733.
	DING X L， LUO W H， LIU F， et al. Review on automated fiber placement induced defects and their online monitoring technology［J］. Journal of Beijing University of Aeronautics and Astronautics， 2022， 48（9）： 1721-1733 （in Chinese）.
7	倪金辉. 基于机器视觉的预浸纱缺陷检测系统的研究［D］. 南京：南京航空航天大学， 2015.
	NI J H， Defect detection system for prepreg based on machine vision［D］. Nanjing： Nanjing University of Aeronautics and Astronautics， 2015 （in Chinese）.
8	康硕，柯臻铮，王璇，等. 基于红外和可见光图像融合的铺丝缺陷检测方法［J］. 航空学报， 2022， 43（3）： 425187.
	KANG S， KE Z Z， WANG X， et al. Detection method of defects in automatic fiber placement based on fusion of infrared and visible images［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（3）： 425187 （in Chinese）.
9	蔡志强，肖军，文立伟，等. 基于预浸纱自动铺放缺陷的分割算法［J］. 航空材料学报， 2017， 37（2）： 21-27.
	CAI Z Q， XIAO J， WEN L W， et al. Algorithm of defect segmentation for AFP based on prepregs［J］. Journal of Aeronautical Materials， 2017， 37（2）： 21-27 （in Chinese）.
10	吕昊远，俞璐，周星宇，等. 半监督深度学习图像分类方法研究综述［J］. 计算机科学与探索， 2021， 15（6）： 1038-1048.
	LV H Y， YU L， ZHOU X Y， et al. Review of semi-supervised deep learning image classification methods［J］. Journal of Frontiers of Computer Science & Technology， 2021， 15（6）： 1038-1048 （in Chinese）.
11	赵朗月，吴一全. 基于机器视觉的表面缺陷检测方法研究进展［J］. 仪器仪表学报， 2022， 43（1）： 198-219.
	ZHAO L Y， WU Y Q. Research progress of surface defect detection methods based on machine vision［J］. Chinese Journal of Scientific Instrument， 2022， 43（1）： 198-219 （in Chinese）.
12	汤勃，孔建益，伍世虔. 机器视觉表面缺陷检测综述［J］. 中国图象图形学报， 2017， 22（12）： 1640-1663.
	TANG B， KONG J Y， WU S Q. Review of surface defect detection based on machine vision［J］. Journal of Image and Graphics， 2017， 22（12）： 1640-1663 （in Chinese）.
13	SHAHAM R T， DEKEL T， MICHAELI T. SinGAN： learning a generative model from a single natural image ［C］∥Proceedings of the IEEE International Conference on Computer Vision. 2019： 4570-4580.
14	刘剑超，相洁，张玲，等. 一种自约束的小样本缺损图像分割方法［J］. 小型微型计算机系统， 2022， 43（8）： 1732-1738.
	LIU J C， XIANG J， ZHANG L， et al. Level-set rectified U-net for few-shot fouling image segmentation［J］. Journal of Chinese Mini-Micro Computer Systems， 2022， 43（8）： 1732-1738 （in Chinese）.
15	王坤峰，苟超，段艳杰，等. 生成式对抗网络GAN的研究进展与展望［J］. 自动化学报， 2017， 43（3）： 321-332.
	WANG K F， GOU C， DUAN Y J， et al. Generative adversarial networks： The state of the art and beyond［J］. Acta Automatica Sinica， 2017， 43（3）： 321-332 （in Chinese）.
16	HINZ T， FISHER M， WANG O， et al. Improved techniques for training single-image GANs［C］∥2021 IEEE Winter Conference on Applications of Computer Vision. 2021： 1299-1308.
17	刘伟韬. 基于SinGAN的图像生成模型［J］. 曲阜师范大学学报（自然科学版）， 2020， 46（2）： 67-71.
	LIU W T. Image generative model based on single generative adversarial network［J］. Journal of Qufu Normal University （Natural Science Edition）， 2020， 46（2）： 67-71 （in Chinese）.
18	程国建，张福临. 基于SinGAN的岩石薄片图像超分辨率重建［J］. 西安石油大学学报（自然科学版）， 2021， 36（2）： 116-121.
	CHENG G J， ZHANG F L. Super-resolution reconstruction of rock slice image based on SinGAN［J］. Journal of Xi’an Shiyou University （Natural Science Edition）， 2021， 36（2）： 116-121 （in Chinese）.
19	SONGWEI G， RUI Z， HONGXIA L， et al. Improved SinGAN integrated with an attentional mechanism for remote sensing image classification［J］. Remote Sensing， 2021， 13（9）： 1713.
20	王星，高峰，陈吉，等. 基于GAN网络的煤岩图像样本生成方法［J］. 煤炭学报， 2021， 46（9）： 3066-3078.
	WANG X， GAO F， CHEN J， et al. Generative adversarial networks based sample generation of coal and rock images［J］. Journal of China Coal Society， 2021， 46（9）： 3066-3078 （in Chinese）.
21	尹宏鹏，陈波，柴毅，等. 基于视觉的目标检测与跟踪综述［J］. 自动化学报， 2016， 42（10）： 1466-1489.
	YIN H P， CHEN B， CHAI Y， et al. Vision-based object detection and tracking： A review［J］. Acta Automatica Sinica， 2016， 42（10）： 1466-1489 （in Chinese）.
22	王玲敏，段军，辛立伟. 引入注意力机制的YOLOv5安全帽佩戴检测方法［J］. 计算机工程与应用， 2022， 58（9）： 303-312.
	WANG L M， DUAN J， XIN L W. YOLOv5 helmet wear detection method with introduction of attention mechanism［J］. Computer Engineering and Applications， 2022， 58（9）： 303-312 （in Chinese）.
23	HOU Q， ZHOU D， FENG J. Coordinate attention for efficient mobile network design［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021： 13708-13717.
24	任欢，王旭光. 注意力机制综述［J］. 计算机应用， 2021， 41（S1）： 1-6.
	REN H， WANG X G. Review of attention mechanism［J］. Journal of Computer Applications， 2021， 41（S1）： 1-6 （in Chinese）.
25	赵璐璐，王学营，张翼，等. 基于YOLOv5s融合SENet的车辆目标检测技术研究［J］. 图学学报， 2022， 43（5）： 776-782.
	ZHAO L L， WANG X Y， ZHANG Y， et al. Vehicle target detection based on YOLOv5s fusion SENet［J］. Journal of Graphics， 2022， 43（5）： 776-782 （in Chinese）.
26	陈志军，胡军楠，冷姚，等. 基于轻量化网络和注意力机制的智能车快速目标识别方法［J］. 交通运输系统工程与信息， 2022， 22（6）： 105-113.
	CHEN Z J， HU J N， LENG Y， et al. Intelligent vehicle target fast recognition based on lightweight network and attention mechanism［J］. Journal of Transportation Systems Engineering and Information Technology， 2022， 22（6）： 105-113 （in Chinese）.
27	于海洋，景鹏，张文涛，等. 基于残差与注意力机制的道路裂缝检测U-Net改进模型［J］. 计算机工程， 2023， 49（6）： 265-273.
	YU H Y， JING P， ZHANG W T， et al. Improved U-Net model for road crack detection based on residual and attention mechanism［J］. Computer Engineering， 2023， 49（6）： 265-273 （in Chinese）.
28	佟雨兵，张其善，祁云平. 基于PSNR与SSIM联合的图像质量评价模型［J］. 中国图象图形学报， 2006（12）： 1758-1763.
	TONG Y B， ZHANG Q S， QI Y P. Image quality assessing by combining PSNR with SSIM［J］. Journal of Image and Graphics， 2006（12）： 1758-1763 （in Chinese）.
29	高瑶，肖卫国，王力，等. 关于红外图像目标检测评价仿真研究［J］. 计算机仿真， 2016， 33（11）： 33-36， 52.
	GAO Y， XIAO W G， WANG L， et al. Study on simulation and evaluation of infrared image target detection［J］. Computer Integrated Manufacturing Systems， 2016， 33（11）： 33-36， 52 （in Chinese）.
30	REN S， HE K， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
31	BERG A C， FU C Y， SZEGEDY C， et al. SSD： Single Shot MultiBox Detector ［DB/OL］. arXiv：.
32	REDMON J， FARHADI A. YOLOv3： An incremental improvement［C］∥Conference on Computer Vision and Pattern Recognition. 2018： 1-6
33	BOCHKOVSKIY A， WANG C Y， LIAO H. YOLOv4： Optimal speed and accuracy of object detection ［DB/OL］. arXiv：.

评估指标	含义
准确率（Accuracy）	正确分类的样本数与全部样本数的比值
召回率（Recall）	测试集中所有正确样本被正确识别的比例
精确率（Precision）	检测样本中，正确样本的比例
平均精确度（Average Precision， AP）	Precision-Recall曲线组成的面积，与分类器质量呈正相关
平均精确度均值（mean Average Precision， mAP）	所有类别AP的平均值

评估指标	含义
前传耗时/ms	输入单张图像到输出结果的耗时情况
每秒帧数（Frame Per Second， FPS）	检测器每秒能处理图片的张数
浮点运算量（FLOPS）	浮点运算次数，衡量算法/模型的复杂度

参数	含义	设置值
nfc	Number of filters per conv layer	64
ker_size	Kernel size	3
num_layer	Number of layers per stage	3
padd_size	Net pad size	0
nc_im	Image channels	3
noise_amp	Additive noise cont weight	0.1
min_size	Image minimal size at the coarser scale	25
max_size	Image maximal size at the coarser scale	250
train_depth	How many layers are trained if growing	3
lr_g	Learning rate of generator	0.000 5
lr_d	Learning rate of discriminator	0.000 5
beta1	Beta1 for adam	0.5
lambda_grad	Gradient penalty weight	0.1
alpha	Reconstruction loss weight	10

缺陷类型	随机生成图像		重建图像
缺陷类型	PSNR	SSIM	PSNR	SSIM
twist	29.110 6	30.418%	38.214 4	95.859%
wrinkle	29.192 3	30.438%	36.372 9	94.527%
bridge	30.436 6	62.821%	39.548 3	96.906%
foreign body	30.374 7	62.275%	37.348 1	93.927%
gap	32.057 2	69.317%	41.137 9	95.840%
wire break	31.464 7	74.873%	39.653 7	95.453%

模型	mAP@0.5	FPS	权重/MB	Precision
Faster R-CNN	0.780 2	5	108	0.886
SSD	0.721 6	36	93.2	0.836
YOLOv3	0.433	43	235	0.753
YOLOv3-CA	0.586	45	228	0.835
YOLOv4	0.720 2	52	244	0.893
YOLOv4-CA	0.764 8	55	231	0.915
YOLOv5s	0.815	60	54.5	0.940
Place-YOLO	0.833	65	13.7	0.941

Surface defect detection of fiber placement based on virtual sample generation

RichHTML

PDF (PC)

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 19

References 33

Related Articles 15

Recommended Articles

Metrics

Comments

[1]	Chuanyun WANG, Yang SU, Linlin WANG, Tian WANG, Jingjing WANG, Qian GAO. Multi-object continuous robust tracking algorithm for anti-UAV swarm [J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(7): 329017-329017.
[2]	Xudong LUO, Yiquan WU, Jinlin CHEN. Research progress on deep learning methods for object detection and semantic segmentation in UAV aerial images [J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(6): 28822-028822.
[3]	Qian YANG, Yanzhe WANG, Di YANG, Zezhong LI, Weiwei QU. Prediction and planning of automatic laying speed for fiber reinforced composite materials based on data⁃driven model [J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(10): 429313-429313.
[4]	Zhiqiang FENG, Zhijun XIE, Zhengwei BAO, Kewei CHEN. Real⁃time dense small object detection algorithm for UAV based on improved YOLOv5 [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2023, 44(7): 327106-327106.
[5]	Guotao MAO, Tianmin DENG, Nanjing YU. Object detection in UAV images based on multi-scale split attention [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2023, 44(5): 326738-326738.
[6]	Baohui JIA, Fan JIANG, Yuxin WANG, Du WANG. Fault diagnosis method based on civil aircraft maintenance text data [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2023, 44(5): 326598-326598.
[7]	Xiaohang LI, Jianjiang ZHOU. Multi⁃scale modality fusion network based on adaptive memory length [J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(22): 628977-628977.
[8]	Yi ZHANG, Yan ZHANG, Yu ZHANG, Yong ZHANG, Di LIU. Infrared aircraft target detection method based on multi-level feature enhancement fusion [J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(22): 629220-629220.
[9]	Jiehua TIAN, Di SUN, Feng QU, Junqiang BAI. Airfoil parameterization method based on CST⁃GAN [J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(18): 128280-128280.
[10]	Yubin YUAN, Yiquan WU, Langyue ZHAO, Jinlin CHEN, Qichang ZHAO. Research progress of UAV aerial video multi⁃object detection and tracking based on deep learning [J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(18): 28334-028334.
[11]	Yucun SONG, Quanbo GE, Junlong ZHU, Zhenyu LU. Improved YOLOX object detection algorithm based on gradient difference adaptive learning rate optimization [J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(14): 327951-327951.
[12]	Zihao LI, Zhengping WANG, Yuntao HE. Aerial-photography dense small target detection algorithm based on adaptive cooperative attention mechanism [J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(13): 327944-327944.
[13]	SUN Xiuyi, HU Shaohai, MA Xiaole. Infrared and visible image fusion based on unsupervised deep learning [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2022, 43(S1): 726938-726938.
[14]	ZHANG Shengfei, LI Tianmei, HU Changhua, DU Dangbo, SI Xiaosheng. Missing data generation method and its application in remaining useful life prediction based on deep convolutional generative adversarial network [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2022, 43(8): 225708-225708.
[15]	LIU Fang, HAN Xiao. Adaptive aerial object detection based on multi-scale deep learning [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2022, 43(5): 325270-325270.