基于松弛极线约束的月面复杂仿射变换图像匹配方法
收稿日期: 2023-03-07
修回日期: 2023-04-06
录用日期: 2023-06-01
网络出版日期: 2023-06-09
基金资助
国家自然科学基金(61972020);实验室基金(6142210200307)
An epipolar relaxation constrained matching algorithm of large-affined images for lunar rover with large span distance in a single movement
Received date: 2023-03-07
Revised date: 2023-04-06
Accepted date: 2023-06-01
Online published: 2023-06-09
Supported by
National Natural Science Foundation of China(61972020);Foundation of Laboratory(6142210200307)
月球车在月面巡视探测过程中采用大间距行进模式、以倾斜视角拍摄月面，导致相邻站点间所拍摄的月面图像重叠区域较小，并且在尺度、旋转上具有较大的差异；同时由于站点间图像仿射变换复杂、纹理相似度高且光照条件不一致，仅利用图像局部表观特征匹配极易发生错误。针对上述问题，提出了基于双向松弛极线约束的图像匹配算法，首先，将惯导测量的站点间近似相对位姿引入到成像光束的投影变换中，计算一个站点图像特征点在另一站点图像中对应的极线方程；其次，根据站点误差范围近似估计前后站图像中双向极线的松弛约束范围，构建限定在松弛约束范围内的匹配候选点集合；再次，利用FLANN算法进行特征匹配，选取同时满足双向松弛极线约束且相似度高的特征点对；最后，使用RANSAC算法进一步剔除错误匹配点，得到最终配对点集合。实验表明：上述算法在处理站点间大尺度、旋转变换月面图像匹配问题时，能够尽可能多地保留正确匹配点，极大提升匹配正确率和剔除无效匹配点，相比ASIFT等算法效果提升明显。
刘传凯 , 王沼翔 , 雷俊雄 , 张作宇 , 樊宽刚 , 张济韬 , 王晓雪 , 潘海朗 , 刘建国 . 基于松弛极线约束的月面复杂仿射变换图像匹配方法[J]. 航空学报, 2024 , 45(2) : 328659 -328659 . DOI: 10.7527/S1000-6893.2023.28659
In the process of lunar surface exploration， Yutu-2 adopts a widely spaced travel mode and takes photos of the lunar surface from a tilted perspective， resulting in a small overlap area of the lunar surface images taken between neighboring sites， and large differences in scale and rotation. In addition， due to the complex image affine transformation between sites， high texture similarity and inconsistent illumination conditions， it is easy to make errors by matching only local apparent features of images. To address the above problems， this paper proposes an image matching algorithm based on the bi-directional relaxation polar line constraint. Firstly， the approximate relative poses between stations measured by inertial guidance are introduced into the projection transform of imaging beam， and the polar line equation corresponding to the feature points of one station image in another station image is calculated. Secondly， the bi-directional polar line relaxation constraint range in the front and back station images is estimated based on the station error range， and a set of matching candidates limited within the relaxation constraint range is constructed. Then， the FLANN algorithm is used to select the feature pairs that satisfy the bi-directional relaxation constraint and have high similarity. Finally， the RANSAC algorithm is used to further reject the wrong matching points and obtain the final set of matching points. The experiments show that when dealing with the problem of inter-site large scale and rotationally transformed lunar surface image matching， the proposed algorithm can retain as many correct matching points as possible， greatly improve the correct matching rate and eliminate invalid matching points， and has a significant improvement in effect compared with ASIFT and other algorithms.
| 1 | 崔平远， 高锡珍， 朱圣英， 等. 行星着陆复杂形貌特征匹配与自主导航研究进展［J］. 宇航学报， 2022， 43（6）： 713-722. |
| CUI P Y， GAO X Z， ZHU S Y， et al. Progress in complex topography feature matching and autonomous navigation for planetary landing［J］. Journal of Astronautics， 2022， 43（6）： 713-722 （in Chinese）. | |
| 2 | 高锡珍， 汤亮， 崔平远. 多视角多尺度陨石坑特征检测识别方法［J］. 宇航学报， 2022， 43（7）： 921-929. |
| GAO X Z， TANG L， CUI P Y. Detection and recognition method for multiview and multiscale crater features［J］. Journal of Astronautics， 2022， 43（7）： 921-929 （in Chinese）. | |
| 3 | LOWE D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110. |
| 4 | MOREL J M， YU G S. ASIFT： A new framework for fully affine invariant image comparison［J］. SIAM Journal on Imaging Sciences， 2009， 2（2）： 438-469. |
| 5 | MOHSIN ARKAH Z， IBRAHIM HASAN R， EBIS S K， et al. Image matching performance comparison using SIFT， ASIFT and moment invariants［J］. Journal of Engineering and Applied Sciences， 2019， 14（20）： 7656-7662. |
| 6 | RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF［C］∥ 2011 International Conference on Computer Vision. Piscataway： IEEE Press， 2012： 2564-2571. |
| 7 | LEUTENEGGER S， CHLI M， SIEGWART R Y. BRISK： Binary robust invariant scalable keypoints［C］∥ 2011 International Conference on Computer Vision. Piscataway： IEEE Press， 2012： 2548-2555. |
| 8 | PABLO F A， ADRIEN B， ANDREW J D. KAZE features［C］∥ECCV 2012 12th， 2012. |
| 9 | ALCANTARILLA P， NUEVO J， BARTOLI A. Fast explicit diffusion for accelerated features in nonlinear scale spaces［C］∥ Proceedings ofthe British Machine Vision Conference 2013， 2013. |
| 10 | ZITOVá B， FLUSSER J. Image registration methods： A survey［J］. Image and Vision Computing， 2003， 21（11）： 977-1000. |
| 11 | 贾迪， 朱宁丹， 杨宁华， 等. 图像匹配方法研究综述［J］. 中国图象图形学报， 2019， 24（5）： 677-699. |
| JIA D， ZHU N D， YANG N H， et al. Image matching methods［J］. Journal of Image and Graphics， 2019， 24（5）： 677-699 （in Chinese）. | |
| 12 | FISCHLER M A， BOLLES R C. Random sample consensus： A paradigm for model fitting with applications to image analysis and automated cartography［J］. Commun ACM， 1981， 24（6）： 381-395. |
| 13 | 周艳青， 薛河儒， 马学磊， 等. 基于RANSAC算法的改进特征匹配方法研究［J］. 内蒙古农业大学学报（自然科学版）， 2021， 42（6）： 87-92. |
| ZHOU Y Q， XUE H R， MA X L， et al. Improved feature matching method based on ransac algorithm［J］. Journal of Inner Mongolia Agricultural University （Natural Science Edition）， 2021， 42（6）： 87-92 （in Chinese）. | |
| 14 | ZHOU F， ZHONG C， ZHENG Q. Method for fundamental matrix estimation combined with feature lines［J］. Neurocomputing， 2015， 160： 300-307. |
| 15 | 任继昌， 杨晓东. 极线约束条件下的双目视觉点匹配策略研究［J］. 舰船科学技术， 2016， 38（3）： 121-124. |
| REN J C， YANG X D. Point matching strategies of binocular vision based on epipolar line rectification［J］. Ship Science and Technology， 2016， 38（3）： 121-124 （in Chinese）. | |
| 16 | 赵春晖， 樊斌， 田利民， 等. 基于极线几何的统计优化特征匹配算法［J］. 航空学报， 2018， 39（5）： 321727. |
| ZHAO C H， FAN B， TIAN L M， et al. Statistical optimization feature matching algorithm based on epipolar geometry［J］. Acta Aeronautica et Astronautica Sinica， 2018， 39（5）： 321727 （in Chinese）. | |
| 17 | DUSMANU M， ROCCO I， PAJDLA T， et al. D2-net： A trainable CNN for joint description and detection of local features［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 8084-8093. |
| 18 | TIAN Y R， BALNTAS V， NG T， et al. D2D： Keypoint extraction with describe to detect approach［C］∥Asian Conference on Computer Vision. Cham： Springer， 2021： 223-240. |
| 19 | SARLIN P E， DETONE D， MALISIEWICZ T， et al. SuperGlue： Learning feature matching with graph neural networks［C］∥ 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 4937-4946. |
| 20 | 唐灿， 唐亮贵， 刘波. 图像特征检测与匹配方法研究综述［J］. 南京信息工程大学学报（自然科学版）， 2020， 12（3）： 261-273. |
| TANG C， TANG L G， LIU B. A survey of image feature detection and matching methods［J］. Journal of Nanjing University of Information Science & Technology （Natural Science Edition）， 2020， 12（3）： 261-273 （in Chinese）. | |
| 21 | 任晶秋， 武小凯. 改进SIFT的图像匹配算法［J］. 吉林大学学报（信息科学版）， 2022， 40（4）： 672-676. |
| REN J Q， WU X K. Improved SIFT algorithm for image matching［J］. Journal of Jilin University （Information Science Edition）， 2022， 40（4）： 672-676 （in Chinese）. | |
| 22 | 姜帅. 基于SURF算法的图像配准技术的改进［J］. 自动化应用， 2022（9）： 58-62. |
| JIANG S. Improvement of image registration technology based on SURF algorithm［J］. Automation Application， 2022（9）： 58-62 （in Chinese）. | |
| 23 | LIU C， DANG S W. The research and application of improved ORB feature matching algorithm［C］∥International Conference on Guidance， Navigation and Control. Singapore： Springer， 2023： 4246-4255. |
| 24 | TANG Q L， WANG X X， ZHANG M， et al. Image matching algorithm based on improved AKAZE and Gaussian mixture model［J］. Journal of Electronic Imaging， 2023， 32（2）： 023020. |
| 25 | 刘传凯， 王泰杰， 董卫华， 等. 玉兔2号月球车大间距导航成像的空间分辨率建模分析［J］. 中国科学： 技术科学， 2019， 49（11）： 1275-1285. |
| LIU C K， WANG T J， DONG W H， et al. Modeling and analysis of spatial resolution of images from Yutu 2 lunar rover in large-span movements［J］. Scientia Sinica （Technologica）， 2019， 49（11）： 1275-1285 （in Chinese）. | |
| 26 | 王泰杰， 苏建华， 刘传凯， 等. 玉兔二号月面大间距变倾角成像的空间分辨率建模及其应用分析［J］. 中国科学： 技术科学， 2020， 50（8）： 1081-1094. |
| WANG T J， SU J H， LIU C K， et al. Modeling and application analysis of the pixel-spatial resolution of Yutu 2 rover with large-scale transformed images［J］. Scientia Sinica （Technologica）， 2020， 50（8）： 1081-1094 （in Chinese）. | |
| 27 | LIU C K， WANG B F， YANG X， et al. Introducing projective transformations into lunar image correspondence for positioning large distance rover［C］∥ 2016 12th World Congress on Intelligent Control and Automation （WCICA）. Piscataway： IEEE Press， 2016： 1206-1211. |
| 28 | 王怀超， 张学全， 李海丰. 一种行星车视觉导航系统的立体校正算法［J］. 宇航学报， 2017， 38（2）： 159-165. |
| WANG H C， ZHANG X Q， LI H F. A stereo rectification algorithm for planetary rover visual navigation system［J］. Journal of Astronautics， 2017， 38（2）： 159-165 （in Chinese）. |
/
| 〈 |
|
〉 |
CJA