ACTA AERONAUTICAET ASTRONAUTICA SINICA >
Robust detection method of multi⁃type assembly reference hole based on monocular vision
Received date: 2022-07-25
Revised date: 2022-08-10
Accepted date: 2022-09-08
Online published: 2022-11-04
Supported by
National Science and Technology Major Project(2018ZX04006001)
Regarding the disturbance problem of automatic assembly system reference hole detection due to such factors like aviation sealant and tack fasteners， this paper analyzes the characteristics of assembly reference hole in industrial environment and the limitations of current detection algorithm， and proposes a robust detection method of multi-type assembly reference hole based on monocular vision. This method selects the optimal arc based on the bow-string ratio and chord length. By analyzing the associated convexity between the optimal arc and residual arcs， the rapid filtering of arc segments is realized. An improved circle detection algorithm based on the probability of existence map is proposed to fit the approximate circles of assembly reference hole. The accurate clustering of arc segments is achieved by the set distance threshold and the approximate circle of assembly reference hole. Finally， ellipse fitting is performed by using direct least-squares method. And the false alarms are subsequently removed. Through field testing and accuracy verification， the algorithm has a significant inhibitory effect on the common disturbance factors in the assembly scene. The detection accuracy （aperture） and positioning accuracy （hole spacing） of the reference hole are 0.10 mm and 0.09 mm respectively. The average recall rates of the algorithm for the detection of multi-type assembly reference hole of rivets， target points， through-holes and holes with piercing clamps are 97.9%， 98.3%， 99.1% and 91.1% respectively， which can meet the detection requirements of automatic assembly system.
Tianyu DU , Min WANG , Wenliang CHEN . Robust detection method of multi⁃type assembly reference hole based on monocular vision[J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2023 , 44(12) : 427852 -427852 . DOI: 10.7527/S1000-6893.2022.27852
| 1 | 余锋杰， 柯映林， 方强. 基于飞机自动化对接装配实例的工艺选优［J］. 机械工程学报， 2010， 46（1）： 175-181. |
| YU F J， KE Y L， FANG Q. Optimal selection of technics routine based on aircraft automatic join-assembly［J］. Journal of Mechanical Engineering， 2010， 46（1）： 175-181 （in Chinese）. | |
| 2 | 周炜， 廖文和， 田威， 等. 面向飞机自动化装配的机器人空间网格精度补偿方法研究［J］. 中国机械工程， 2012， 23（19）： 2306-2311. |
| ZHOU W， LIAO W H， TIAN W， et al. Robot accuracy compensation method of spatial grid for aircraft automatic assembly［J］. China Mechanical Engineering， 2012， 23（19）： 2306-2311 （in Chinese）. | |
| 3 | 董松， 郑侃， 孟丹， 等. 大型复杂构件机器人制孔技术研究进展［J］. 航空学报， 2022， 43（5）： 627133. |
| DONG S， ZHENG K， MENG D， et al. Robotic drilling of large complex components： A review［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（5）： 627133 （in Chinese）. | |
| 4 | 王龙飞， 张丽艳， 叶南. 一种适用于曲面结构的机器人制孔误差在线补偿技术［J］. 航空学报， 2019， 40（10）： 422871. |
| WANG L F， ZHANG L Y， YE N. An on-line compensation technology for robotic drilling error suitable for curved structure［J］. Acta Aeronautica et Astronautica Sinica， 2019， 40（10）： 422871 （in Chinese）. | |
| 5 | 李洋， 程智， 周维虎， 等. 面向工业复杂场景的合作靶标椭圆特征快速鲁棒检测［J］. 光学精密工程， 2021， 29（8）： 1910-1920. |
| LI Y， CHENG Z， ZHOU W H， et al. A fast and robust method for detection elliptical character of cooperative targets in industrial complex background［J］. Optics and Precision Engineering， 2021， 29（8）： 1910-1920 （in Chinese）. | |
| 6 | 王皓， 陈根良. 机器人型装备在航空装配中的应用现状与研究展望［J］. 航空学报， 2022， 43（5）： 626128. |
| WANG H， CHEN G L. Research progress and perspective of robotic equipment applied in aviation assembly［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（5）： 626128 （in Chinese）. | |
| 7 | 杨忞， 达飞鹏. 基于椭圆外切矩形性质的圆形标志点检测［J］. 光学学报， 2018， 38（12）： 254-261. |
| YANG M， DA F P. Circular control points detection based on circumscribed rectangle of an ellipse［J］. Acta Optica Sinica， 2018， 38（12）： 254-261 （in Chinese）. | |
| 8 | MUKHOPADHYAY P， CHAUDHURI B B. A survey of Hough Transform［J］. Pattern Recognition， 2015， 48（3）： 993-1010. |
| 9 | 李艳荻， 徐熙平， 钟岩. 特征弦约束随机Hough变换在椭圆检测中的应用［J］. 仪器仪表学报， 2017， 38（1）： 50-56. |
| LI Y D， XU X P， ZHONG Y. Application of RHT based on character string constraint in ellipse detection［J］. Chinese Journal of Scientific Instrument， 2017， 38（1）： 50-56 （in Chinese）. | |
| 10 | 陈珂， 吴建平， 李金祥， 等. 一维概率Hough变换的实时鲁棒多圆检测方法［J］. 计算机辅助设计与图形学学报， 2015， 27（10）： 1832-1841. |
| CHEN K， WU J P， LI J X， et al. Robust real-time multi-circle detection algorithm based on 1D probabilistic Hough transform［J］. Journal of Computer-Aided Design & Computer Graphics， 2015， 27（10）： 1832-1841 （in Chinese）. | |
| 11 | 邹荣， 赵稼宸， 凌俊， 等. 基于Hough投票空间的椭圆图像特征亚像素提取方法［J］. 光学技术， 2016， 42（2）： 141-145. |
| ZOU R， ZHAO J C， LIN J， et al. Sub-pixel ellipse feature extraction method based on Hough voting space［J］. Optical Technique， 2016， 42（2）： 141-145 （in Chinese）. | |
| 12 | GRBI? R， GRAHOVAC D， SCITOVSKI R. A method for solving the multiple ellipses detection problem［J］. Pattern Recognition， 2016， 60（1）： 824-834. |
| 13 | CHAUDHURI D. A simple least squares method for fitting of ellipses and circles depends on border points of a two-tone image and their 3-D extensions［J］. Pattern Recognition Letters， 2010， 31（9）： 818-829. |
| 14 | MAINI E S. Enhanced direct least square fitting of ellipses［J］. International Journal of Pattern Recognition and Artificial Intelligence， 2006， 20（6）： 939-953. |
| 15 | 吴尧锋， 王文， 卢科青， 等. 边界聚类椭圆快速检测方法［J］. 浙江大学学报（工学版）， 2016， 50（3）： 405-411. |
| WU Y F， WANG W， LU K Q， et al. Fast ellipse detection based on edge grouping［J］. Journal of Zhejiang University （Engineering Science）， 2016， 50（3）： 405-411 （in Chinese）. | |
| 16 | PRASAD D K， LEUNG M K H， CHO S-Y. Edge curvature and convexity based ellipse detection method［J］. Pattern Recognition， 2012， 45（9）： 3204-3221. |
| 17 | CHEN S， XIA R， ZHAO J， et al. A hybrid method for ellipse detection in industrial images［J］. Pattern Recognition， 2017， 68（1）： 82-98. |
| 18 | FORNACIARI M， PRATI A， CUCCHIARA R. A fast and effective ellipse detector for embedded vision applications［J］. Pattern Recognition， 2014， 47（11）： 3693-3708. |
| 19 | WU B， YU X-Y， GUO Y-B， et al. Effective ellipse detection method in limited-performance embedded system for aerospace application［J］. Advances in Mechanical Engineering， 2017， 9（3）： 19-31. |
| 20 | 谭小群， 唐婧仪， 于薇薇， 等. 基于线激光扫描和图像处理的基准孔检测技术研究［J］. 现代制造工程， 2019， 42（4）： 115-121. |
| TAN X Q， TANG J Y， YU W W， et al. Research on reference hole detection technology based on line laser scanning and image processing［J］. Modern Manufacturing Engineering， 2019， 42（4）： 115-121 （in Chinese）. | |
| 21 | 庄志炜， 田威， 李波， 等. 基于模板匹配的孔位与法矢检测算法［J］. 计算机集成制造系统， 2021， 27（12）： 3484-3493. |
| ZHUANG Z W， TIAN W， LI B， et al. Detection algorithm of hole position and normal based on template matching［J］. Computer Integrated Manufacturing Systems， 2021， 27（12）： 3484-3493 （in Chinese）. | |
| 22 | 张运楚， 王宏明， 梁自泽， 等. 基于存在概率图的圆检测方法［J］. 计算机工程与应用， 2006， 42（29）： 49-51. |
| ZHANG Y C， WANG H M， LIANG Z Z， et al. Existence probability map based circle detection method［J］. Computer Engineering and Applications， 2006， 42（29）： 49-51 （in Chinese）. | |
| 23 | 刘丰林， 乔桂锋. 基于存在概率图的工业CT图像快速圆检测算法［J］. 中国机械工程， 2008， 19（19）： 2335-2339. |
| LIU F L， QIAO G F. A fast algorithm of circle detection for industrial CT images based on probability of existence［J］. Chinese Journal of Mechanical Engineering， 2008， 19（19）： 2335-2339 （in Chinese）. | |
| 24 | MENG C， LI Z X， BAI X Z， et al. Arc adjacency matrix-based fast ellipse detection［J］. IEEE Transactions on Image Processing， 2020， 29： 4406-4420. |
| 25 | 崔海华， 漏华铖， 田威， 等. 轨道式爬行机器人制孔基准的视觉高精度定位［J］. 光学学报， 2021， 41（9）： 179-188. |
| CUI H H， LOU H C， TIAN W， et al. High-precision visual positioning of hole-making datum for orbital crawling robot［J］. Acta Optica Sinica， 2021， 41（9）： 179-188 （in Chinese）. |
/
| 〈 |
|
〉 |
CJA