基于松弛极线约束的月面复杂仿射变换图像匹配方法

doi:10.7527/S1000-6893.2023.28659

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于松弛极线约束的月面复杂仿射变换图像匹配方法

刘传凯¹^,²^,³(), 王沼翔¹, 雷俊雄¹, 张作宇²^,³, 樊宽刚¹, 张济韬²^,³, 王晓雪²^,³, 潘海朗⁴, 刘建国⁵

^1.江西理工大学电气工程与自动化学院，赣州　341000
^2.北京航天飞行控制中心，北京　100194
^3.航天飞行动力学技术重点实验室，北京　100194
^4.南京理工大学电子工程与光电技术学院，南京　210094
^5.帝国理工学院地球科学工程系，伦敦　SW7 2AZ

收稿日期:2023-03-07 修回日期:2023-04-06 接受日期:2023-06-01 出版日期:2023-06-12 发布日期:2023-06-09
通讯作者: 刘传凯 E-mail:ckliu2005@126.com
基金资助:
国家自然科学基金(61972020);实验室基金(6142210200307)

An epipolar relaxation constrained matching algorithm of large-affined images for lunar rover with large span distance in a single movement

Chuankai LIU¹^,²^,³(), Zhaoxiang WANG¹, Junxiong LEI¹, Zuoyu ZHANG²^,³, Kuangang FAN¹, Jitao ZHANG²^,³, Xiaoxue WANG²^,³, Hailang PAN⁴, Jianguo LIU⁵

^1.School of Electrical Engineering and Automation，Jiangxi University of Science and Technology，Ganzhou 　341000，China
^2.Beijing Aerospace Control Center，Beijing 　100194，China
^3.The Key Laboratory of Science and Technology on Aerospace Flight Dynamics，Beijing 　100194，China
^4.School of Electronic and Optical Engineering，Nanjing University of Science and Technology，Nanjing 　210094，China
^5.Department of Earth Science and Engineering，Imperial College London，London　SW7 2AZ，United Kingdom

Received:2023-03-07 Revised:2023-04-06 Accepted:2023-06-01 Online:2023-06-12 Published:2023-06-09
Contact: Chuankai LIU E-mail:ckliu2005@126.com
Supported by:
National Natural Science Foundation of China(61972020);Foundation of Laboratory(6142210200307)

摘要/Abstract

摘要：

月球车在月面巡视探测过程中采用大间距行进模式、以倾斜视角拍摄月面，导致相邻站点间所拍摄的月面图像重叠区域较小，并且在尺度、旋转上具有较大的差异；同时由于站点间图像仿射变换复杂、纹理相似度高且光照条件不一致，仅利用图像局部表观特征匹配极易发生错误。针对上述问题，提出了基于双向松弛极线约束的图像匹配算法，首先，将惯导测量的站点间近似相对位姿引入到成像光束的投影变换中，计算一个站点图像特征点在另一站点图像中对应的极线方程；其次，根据站点误差范围近似估计前后站图像中双向极线的松弛约束范围，构建限定在松弛约束范围内的匹配候选点集合；再次，利用FLANN算法进行特征匹配，选取同时满足双向松弛极线约束且相似度高的特征点对；最后，使用RANSAC算法进一步剔除错误匹配点，得到最终配对点集合。实验表明：上述算法在处理站点间大尺度、旋转变换月面图像匹配问题时，能够尽可能多地保留正确匹配点，极大提升匹配正确率和剔除无效匹配点，相比ASIFT等算法效果提升明显。

关键词: 月面探测, 月面图像, 仿射变换, 双向松弛极线约束, 图像配准

Abstract:

In the process of lunar surface exploration， Yutu-2 adopts a widely spaced travel mode and takes photos of the lunar surface from a tilted perspective， resulting in a small overlap area of the lunar surface images taken between neighboring sites， and large differences in scale and rotation. In addition， due to the complex image affine transformation between sites， high texture similarity and inconsistent illumination conditions， it is easy to make errors by matching only local apparent features of images. To address the above problems， this paper proposes an image matching algorithm based on the bi-directional relaxation polar line constraint. Firstly， the approximate relative poses between stations measured by inertial guidance are introduced into the projection transform of imaging beam， and the polar line equation corresponding to the feature points of one station image in another station image is calculated. Secondly， the bi-directional polar line relaxation constraint range in the front and back station images is estimated based on the station error range， and a set of matching candidates limited within the relaxation constraint range is constructed. Then， the FLANN algorithm is used to select the feature pairs that satisfy the bi-directional relaxation constraint and have high similarity. Finally， the RANSAC algorithm is used to further reject the wrong matching points and obtain the final set of matching points. The experiments show that when dealing with the problem of inter-site large scale and rotationally transformed lunar surface image matching， the proposed algorithm can retain as many correct matching points as possible， greatly improve the correct matching rate and eliminate invalid matching points， and has a significant improvement in effect compared with ASIFT and other algorithms.

Key words: lunar surface detection, lunar surface image, affine transformation, bilateral relaxation epipolar constraint, image registration

中图分类号:

V448.2

刘传凯, 王沼翔, 雷俊雄, 张作宇, 樊宽刚, 张济韬, 王晓雪, 潘海朗, 刘建国. 基于松弛极线约束的月面复杂仿射变换图像匹配方法[J]. 航空学报, 2024, 45(2): 328659-328659.

Chuankai LIU, Zhaoxiang WANG, Junxiong LEI, Zuoyu ZHANG, Kuangang FAN, Jitao ZHANG, Xiaoxue WANG, Hailang PAN, Jianguo LIU. An epipolar relaxation constrained matching algorithm of large-affined images for lunar rover with large span distance in a single movement[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(2): 328659-328659.

图/表 18

图 1

图2

图3

图 4

图 5

图 6

图 7

图 8

图 9

图 10

图 11

图 12

图 13

图 14

图 15

图 16

图 17

图 18

参考文献 28

1	崔平远，高锡珍，朱圣英，等. 行星着陆复杂形貌特征匹配与自主导航研究进展［J］. 宇航学报， 2022， 43（6）： 713-722.
	CUI P Y， GAO X Z， ZHU S Y， et al. Progress in complex topography feature matching and autonomous navigation for planetary landing［J］. Journal of Astronautics， 2022， 43（6）： 713-722 （in Chinese）.
2	高锡珍，汤亮，崔平远. 多视角多尺度陨石坑特征检测识别方法［J］. 宇航学报， 2022， 43（7）： 921-929.
	GAO X Z， TANG L， CUI P Y. Detection and recognition method for multiview and multiscale crater features［J］. Journal of Astronautics， 2022， 43（7）： 921-929 （in Chinese）.
3	LOWE D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.
4	MOREL J M， YU G S. ASIFT： A new framework for fully affine invariant image comparison［J］. SIAM Journal on Imaging Sciences， 2009， 2（2）： 438-469.
5	MOHSIN ARKAH Z， IBRAHIM HASAN R， EBIS S K， et al. Image matching performance comparison using SIFT， ASIFT and moment invariants［J］. Journal of Engineering and Applied Sciences， 2019， 14（20）： 7656-7662.
6	RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF［C］∥ 2011 International Conference on Computer Vision. Piscataway： IEEE Press， 2012： 2564-2571.
7	LEUTENEGGER S， CHLI M， SIEGWART R Y. BRISK： Binary robust invariant scalable keypoints［C］∥ 2011 International Conference on Computer Vision. Piscataway： IEEE Press， 2012： 2548-2555.
8	PABLO F A， ADRIEN B， ANDREW J D. KAZE features［C］∥ECCV 2012 12th， 2012.
9	ALCANTARILLA P， NUEVO J， BARTOLI A. Fast explicit diffusion for accelerated features in nonlinear scale spaces［C］∥ Proceedings ofthe British Machine Vision Conference 2013， 2013.
10	ZITOVÁ B， FLUSSER J. Image registration methods： A survey［J］. Image and Vision Computing， 2003， 21（11）： 977-1000.
11	贾迪，朱宁丹，杨宁华，等. 图像匹配方法研究综述［J］. 中国图象图形学报， 2019， 24（5）： 677-699.
	JIA D， ZHU N D， YANG N H， et al. Image matching methods［J］. Journal of Image and Graphics， 2019， 24（5）： 677-699 （in Chinese）.
12	FISCHLER M A， BOLLES R C. Random sample consensus： A paradigm for model fitting with applications to image analysis and automated cartography［J］. Commun ACM， 1981， 24（6）： 381-395.
13	周艳青，薛河儒，马学磊，等. 基于RANSAC算法的改进特征匹配方法研究［J］. 内蒙古农业大学学报（自然科学版）， 2021， 42（6）： 87-92.
	ZHOU Y Q， XUE H R， MA X L， et al. Improved feature matching method based on ransac algorithm［J］. Journal of Inner Mongolia Agricultural University （Natural Science Edition）， 2021， 42（6）： 87-92 （in Chinese）.
14	ZHOU F， ZHONG C， ZHENG Q. Method for fundamental matrix estimation combined with feature lines［J］. Neurocomputing， 2015， 160： 300-307.
15	任继昌，杨晓东. 极线约束条件下的双目视觉点匹配策略研究［J］. 舰船科学技术， 2016， 38（3）： 121-124.
	REN J C， YANG X D. Point matching strategies of binocular vision based on epipolar line rectification［J］. Ship Science and Technology， 2016， 38（3）： 121-124 （in Chinese）.
16	赵春晖，樊斌，田利民，等. 基于极线几何的统计优化特征匹配算法［J］. 航空学报， 2018， 39（5）： 321727.
	ZHAO C H， FAN B， TIAN L M， et al. Statistical optimization feature matching algorithm based on epipolar geometry［J］. Acta Aeronautica et Astronautica Sinica， 2018， 39（5）： 321727 （in Chinese）.
17	DUSMANU M， ROCCO I， PAJDLA T， et al. D2-net： A trainable CNN for joint description and detection of local features［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 8084-8093.
18	TIAN Y R， BALNTAS V， NG T， et al. D2D： Keypoint extraction with describe to detect approach［C］∥Asian Conference on Computer Vision. Cham： Springer， 2021： 223-240.
19	SARLIN P E， DETONE D， MALISIEWICZ T， et al. SuperGlue： Learning feature matching with graph neural networks［C］∥ 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 4937-4946.
20	唐灿，唐亮贵，刘波. 图像特征检测与匹配方法研究综述［J］. 南京信息工程大学学报（自然科学版）， 2020， 12（3）： 261-273.
	TANG C， TANG L G， LIU B. A survey of image feature detection and matching methods［J］. Journal of Nanjing University of Information Science & Technology （Natural Science Edition）， 2020， 12（3）： 261-273 （in Chinese）.
21	任晶秋，武小凯. 改进SIFT的图像匹配算法［J］. 吉林大学学报（信息科学版）， 2022， 40（4）： 672-676.
	REN J Q， WU X K. Improved SIFT algorithm for image matching［J］. Journal of Jilin University （Information Science Edition）， 2022， 40（4）： 672-676 （in Chinese）.
22	姜帅. 基于SURF算法的图像配准技术的改进［J］. 自动化应用， 2022（9）： 58-62.
	JIANG S. Improvement of image registration technology based on SURF algorithm［J］. Automation Application， 2022（9）： 58-62 （in Chinese）.
23	LIU C， DANG S W. The research and application of improved ORB feature matching algorithm［C］∥International Conference on Guidance， Navigation and Control. Singapore： Springer， 2023： 4246-4255.
24	TANG Q L， WANG X X， ZHANG M， et al. Image matching algorithm based on improved AKAZE and Gaussian mixture model［J］. Journal of Electronic Imaging， 2023， 32（2）： 023020.
25	刘传凯，王泰杰，董卫华，等. 玉兔2号月球车大间距导航成像的空间分辨率建模分析［J］. 中国科学：技术科学， 2019， 49（11）： 1275-1285.
	LIU C K， WANG T J， DONG W H， et al. Modeling and analysis of spatial resolution of images from Yutu 2 lunar rover in large-span movements［J］. Scientia Sinica （Technologica）， 2019， 49（11）： 1275-1285 （in Chinese）.
26	王泰杰，苏建华，刘传凯，等. 玉兔二号月面大间距变倾角成像的空间分辨率建模及其应用分析［J］. 中国科学：技术科学， 2020， 50（8）： 1081-1094.
	WANG T J， SU J H， LIU C K， et al. Modeling and application analysis of the pixel-spatial resolution of Yutu 2 rover with large-scale transformed images［J］. Scientia Sinica （Technologica）， 2020， 50（8）： 1081-1094 （in Chinese）.
27	LIU C K， WANG B F， YANG X， et al. Introducing projective transformations into lunar image correspondence for positioning large distance rover［C］∥ 2016 12th World Congress on Intelligent Control and Automation （WCICA）. Piscataway： IEEE Press， 2016： 1206-1211.
28	王怀超，张学全，李海丰. 一种行星车视觉导航系统的立体校正算法［J］. 宇航学报， 2017， 38（2）： 159-165.
	WANG H C， ZHANG X Q， LI H F. A stereo rectification algorithm for planetary rover visual navigation system［J］. Journal of Astronautics， 2017， 38（2）： 159-165 （in Chinese）.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

[1]	叶铮, 朱岱寅, 吴迪. 一种基于重叠子孔径回波信息的SAR图像配准算法[J]. 航空学报, 2023, 44(8): 327254-327254.
[2]	徐贵力, 徐静, 王彪, 田裕鹏, 郭瑞鹏, 吕温. 基于光照模糊相似融合不变矩的航天器目标识别[J]. 航空学报, 2014, 35(3): 857-867.
[3]	刘中杰, 曹云峰, 庄丽葵, 丁萌. 基于控制线方法的机载SAR和可见光图像匹配应用研究[J]. 航空学报, 2013, 34(9): 2194-2201.
[4]	徐贵力, 钟志伟, 王彪, 田裕鹏, 郭瑞鹏, 李开宇. 具有几何和光照不变性的不变矩构建研究[J]. 航空学报, 2013, 34(7): 1698-1705.
[5]	申浩, 李书晓, 申意萍, 朱承飞, 常红星. 航拍视频帧间快速配准算法[J]. 航空学报, 2013, 34(6): 1405-1413.
[6]	廖超, 王贵锦, 沈永玲, 何贝, 林行刚. 航拍视频的多向条带拼接算法[J]. 航空学报, 2012, 33(11): 2065-2073.
[7]	易盟, 郭宝龙. 基于不变特征和映射抑制的航拍视频图像配准[J]. 航空学报, 2012, 33(10): 1872-1880.
[8]	龙云利, 徐晖, 安玮. 基于约束序贯M估计的时空域融合红外杂波抑制[J]. 航空学报, 2011, 32(8): 1531-1541.
[9]	王云丽;张鑫;高超;王晖;张茂军. 航拍视频拼图中基于特征匹配的全局运动估计方法[J]. 航空学报, 2008, 29(5): 1218-1225.
[10]	刘宝泉;冯大政;武楠;李军侠. 基于点特征的干涉合成孔径雷达(InSAR)复图像自动配准算法[J]. 航空学报, 2007, 28(1): 161-166.
[11]	牛力丕;毛士艺;陈炜. 一种适应较大比例变化的多传感器图像配准方法[J]. 航空学报, 2006, 27(3): 475-480.
[12]	许东;安锦文. 一种基于光流拟和的航拍视频图像全局运动估算方法[J]. 航空学报, 2006, 27(1): 94-97.
[13]	张洪钺;杨雪勤;郭红涛. 基于仿射变换的飞机图像的识别[J]. 航空学报, 2003, 24(3): 251-254.

基于松弛极线约束的月面复杂仿射变换图像匹配方法

An epipolar relaxation constrained matching algorithm of large-affined images for lunar rover with large span distance in a single movement

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 18

参考文献 28

相关文章 13

编辑推荐

Metrics

本文评价