ACTA AERONAUTICAET ASTRONAUTICA SINICA >
Surface defect detection of fiber placement based on virtual sample generation
Received date: 2023-02-27
Revised date: 2023-03-29
Accepted date: 2023-09-22
Online published: 2023-11-07
Supported by
National Natural Science Foundation of China(51575266)
Automated Fiber Placement （AFP） components are affected by environmental and technological factors in the actual production process， leading to the generation of defects and posing serious harm to the fiber placement components and the overall assembly. Due to the confidentiality of AFP and forming technology， as well as the expensive and time-consuming manufacturing process， it is difficult to obtain sample datasets related to defect images， resulting in the problem of small sample learning. This article proposes a method of expanding the dataset through virtual sample generation and using it as input training samples for the target detection network. In response to the characteristics of fiber placement defects， a coordinate attention mechanism was added to YOLOv5s to optimize the design. The final target detection network model was named Place YOLO， with an accuracy value of 0.941 and a mean Average Precision （mAP） of 0.833， which is 1.8% higher than that of the original YOLOv5s.
Jiqiang GAN , Xiaoping WANG . Surface defect detection of fiber placement based on virtual sample generation[J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2024 , 45(1) : 428624 -428624 . DOI: 10.7527/S1000-6893.2023.28624
| 1 | 原崇新， 李妍， 潘杰， 等. 自动铺丝过程中的典型缺陷及原因分析［J］. 航空制造技术， 2019， 62（4）： 66-74. |
| YUAN C X， LI Y， PAN J， et al. Typical defects and causes analysis of automated fiber placement［J］. Aeronautical Manufacturing Technology， 2019， 62（4）： 66-74 （in Chinese）. | |
| 2 | 张小辉， 朱玉祥， 张少秋， 等. 先进复合材料自动铺丝技术研究进展［J］. 航空制造技术， 2018， 61（7）： 54-61. |
| ZHANG X H， ZHU Y X， ZHANG S Q， et al. Research progress on automated fiber placement technology［J］. Aeronautical Manufacturing Technology， 2018， 61（7）： 54-61 （in Chinese）. | |
| 3 | WANIGASEKARA C， OROMIEHIE E， SWAIN A， et al. Machine learning based predictive model for AFP-based unidirectional composite laminates［J］. IEEE Transactions on Industrial Informatics， 2020，16（4）： 2315-2324. |
| 4 | SMITH R， QURESHI Z， SCAIFE R， et al. Limitations of processing carbon fibre reinforced plastic/polymer material using automated fibre placement technology［J］. Reinforced Plastics & Composites， 2016， 35（21）： 1527-1542. |
| 5 | HEINECKE F， WILLBERG C. Manufacturing-induced imperfections in composite parts manufactured via automated fiber placement［J］. Composites Science， 2019， 3（2）： 56-56. |
| 6 | 丁希仑， 罗伟恒， 刘斐， 等. 自动铺丝成型构件缺陷在线检测技术进展［J］. 北京航空航天大学学报， 2022， 48（9）： 1721-1733. |
| DING X L， LUO W H， LIU F， et al. Review on automated fiber placement induced defects and their online monitoring technology［J］. Journal of Beijing University of Aeronautics and Astronautics， 2022， 48（9）： 1721-1733 （in Chinese）. | |
| 7 | 倪金辉. 基于机器视觉的预浸纱缺陷检测系统的研究［D］. 南京： 南京航空航天大学， 2015. |
| NI J H， Defect detection system for prepreg based on machine vision［D］. Nanjing： Nanjing University of Aeronautics and Astronautics， 2015 （in Chinese）. | |
| 8 | 康硕， 柯臻铮， 王璇， 等. 基于红外和可见光图像融合的铺丝缺陷检测方法［J］. 航空学报， 2022， 43（3）： 425187. |
| KANG S， KE Z Z， WANG X， et al. Detection method of defects in automatic fiber placement based on fusion of infrared and visible images［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（3）： 425187 （in Chinese）. | |
| 9 | 蔡志强， 肖军， 文立伟， 等. 基于预浸纱自动铺放缺陷的分割算法［J］. 航空材料学报， 2017， 37（2）： 21-27. |
| CAI Z Q， XIAO J， WEN L W， et al. Algorithm of defect segmentation for AFP based on prepregs［J］. Journal of Aeronautical Materials， 2017， 37（2）： 21-27 （in Chinese）. | |
| 10 | 吕昊远， 俞璐， 周星宇， 等. 半监督深度学习图像分类方法研究综述［J］. 计算机科学与探索， 2021， 15（6）： 1038-1048. |
| LV H Y， YU L， ZHOU X Y， et al. Review of semi-supervised deep learning image classification methods［J］. Journal of Frontiers of Computer Science & Technology， 2021， 15（6）： 1038-1048 （in Chinese）. | |
| 11 | 赵朗月， 吴一全. 基于机器视觉的表面缺陷检测方法研究进展［J］. 仪器仪表学报， 2022， 43（1）： 198-219. |
| ZHAO L Y， WU Y Q. Research progress of surface defect detection methods based on machine vision［J］. Chinese Journal of Scientific Instrument， 2022， 43（1）： 198-219 （in Chinese）. | |
| 12 | 汤勃， 孔建益， 伍世虔. 机器视觉表面缺陷检测综述［J］. 中国图象图形学报， 2017， 22（12）： 1640-1663. |
| TANG B， KONG J Y， WU S Q. Review of surface defect detection based on machine vision［J］. Journal of Image and Graphics， 2017， 22（12）： 1640-1663 （in Chinese）. | |
| 13 | SHAHAM R T， DEKEL T， MICHAELI T. SinGAN： learning a generative model from a single natural image ［C］∥Proceedings of the IEEE International Conference on Computer Vision. 2019： 4570-4580. |
| 14 | 刘剑超， 相洁， 张玲， 等. 一种自约束的小样本缺损图像分割方法［J］. 小型微型计算机系统， 2022， 43（8）： 1732-1738. |
| LIU J C， XIANG J， ZHANG L， et al. Level-set rectified U-net for few-shot fouling image segmentation［J］. Journal of Chinese Mini-Micro Computer Systems， 2022， 43（8）： 1732-1738 （in Chinese）. | |
| 15 | 王坤峰， 苟超， 段艳杰， 等. 生成式对抗网络GAN的研究进展与展望［J］. 自动化学报， 2017， 43（3）： 321-332. |
| WANG K F， GOU C， DUAN Y J， et al. Generative adversarial networks： The state of the art and beyond［J］. Acta Automatica Sinica， 2017， 43（3）： 321-332 （in Chinese）. | |
| 16 | HINZ T， FISHER M， WANG O， et al. Improved techniques for training single-image GANs［C］∥2021 IEEE Winter Conference on Applications of Computer Vision. 2021： 1299-1308. |
| 17 | 刘伟韬. 基于SinGAN的图像生成模型［J］. 曲阜师范大学学报（自然科学版）， 2020， 46（2）： 67-71. |
| LIU W T. Image generative model based on single generative adversarial network［J］. Journal of Qufu Normal University （Natural Science Edition）， 2020， 46（2）： 67-71 （in Chinese）. | |
| 18 | 程国建， 张福临. 基于SinGAN的岩石薄片图像超分辨率重建［J］. 西安石油大学学报（自然科学版）， 2021， 36（2）： 116-121. |
| CHENG G J， ZHANG F L. Super-resolution reconstruction of rock slice image based on SinGAN［J］. Journal of Xi’an Shiyou University （Natural Science Edition）， 2021， 36（2）： 116-121 （in Chinese）. | |
| 19 | SONGWEI G， RUI Z， HONGXIA L， et al. Improved SinGAN integrated with an attentional mechanism for remote sensing image classification［J］. Remote Sensing， 2021， 13（9）： 1713. |
| 20 | 王星， 高峰， 陈吉， 等. 基于GAN网络的煤岩图像样本生成方法［J］. 煤炭学报， 2021， 46（9）： 3066-3078. |
| WANG X， GAO F， CHEN J， et al. Generative adversarial networks based sample generation of coal and rock images［J］. Journal of China Coal Society， 2021， 46（9）： 3066-3078 （in Chinese）. | |
| 21 | 尹宏鹏， 陈波， 柴毅， 等. 基于视觉的目标检测与跟踪综述［J］. 自动化学报， 2016， 42（10）： 1466-1489. |
| YIN H P， CHEN B， CHAI Y， et al. Vision-based object detection and tracking： A review［J］. Acta Automatica Sinica， 2016， 42（10）： 1466-1489 （in Chinese）. | |
| 22 | 王玲敏， 段军， 辛立伟. 引入注意力机制的YOLOv5安全帽佩戴检测方法［J］. 计算机工程与应用， 2022， 58（9）： 303-312. |
| WANG L M， DUAN J， XIN L W. YOLOv5 helmet wear detection method with introduction of attention mechanism［J］. Computer Engineering and Applications， 2022， 58（9）： 303-312 （in Chinese）. | |
| 23 | HOU Q， ZHOU D， FENG J. Coordinate attention for efficient mobile network design［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021： 13708-13717. |
| 24 | 任欢， 王旭光. 注意力机制综述［J］. 计算机应用， 2021， 41（S1）： 1-6. |
| REN H， WANG X G. Review of attention mechanism［J］. Journal of Computer Applications， 2021， 41（S1）： 1-6 （in Chinese）. | |
| 25 | 赵璐璐， 王学营， 张翼， 等. 基于YOLOv5s融合SENet的车辆目标检测技术研究［J］. 图学学报， 2022， 43（5）： 776-782. |
| ZHAO L L， WANG X Y， ZHANG Y， et al. Vehicle target detection based on YOLOv5s fusion SENet［J］. Journal of Graphics， 2022， 43（5）： 776-782 （in Chinese）. | |
| 26 | 陈志军， 胡军楠， 冷姚， 等. 基于轻量化网络和注意力机制的智能车快速目标识别方法［J］. 交通运输系统工程与信息， 2022， 22（6）： 105-113. |
| CHEN Z J， HU J N， LENG Y， et al. Intelligent vehicle target fast recognition based on lightweight network and attention mechanism［J］. Journal of Transportation Systems Engineering and Information Technology， 2022， 22（6）： 105-113 （in Chinese）. | |
| 27 | 于海洋， 景鹏， 张文涛， 等. 基于残差与注意力机制的道路裂缝检测U-Net改进模型［J］. 计算机工程， 2023， 49（6）： 265-273. |
| YU H Y， JING P， ZHANG W T， et al. Improved U-Net model for road crack detection based on residual and attention mechanism［J］. Computer Engineering， 2023， 49（6）： 265-273 （in Chinese）. | |
| 28 | 佟雨兵， 张其善， 祁云平. 基于PSNR与SSIM联合的图像质量评价模型［J］. 中国图象图形学报， 2006（12）： 1758-1763. |
| TONG Y B， ZHANG Q S， QI Y P. Image quality assessing by combining PSNR with SSIM［J］. Journal of Image and Graphics， 2006（12）： 1758-1763 （in Chinese）. | |
| 29 | 高瑶， 肖卫国， 王力， 等. 关于红外图像目标检测评价仿真研究［J］. 计算机仿真， 2016， 33（11）： 33-36， 52. |
| GAO Y， XIAO W G， WANG L， et al. Study on simulation and evaluation of infrared image target detection［J］. Computer Integrated Manufacturing Systems， 2016， 33（11）： 33-36， 52 （in Chinese）. | |
| 30 | REN S， HE K， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149. |
| 31 | BERG A C， FU C Y， SZEGEDY C， et al. SSD： Single Shot MultiBox Detector ［DB/OL］. arXiv：. |
| 32 | REDMON J， FARHADI A. YOLOv3： An incremental improvement［C］∥Conference on Computer Vision and Pattern Recognition. 2018： 1-6 |
| 33 | BOCHKOVSKIY A， WANG C Y， LIAO H. YOLOv4： Optimal speed and accuracy of object detection ［DB/OL］. arXiv：. |
/
| 〈 |
|
〉 |
CJA