基于深度学习的图像匹配方法综述

doi:10.7527/S1000-6893.2023.28796

综述

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于深度学习的图像匹配方法综述

刘海桥¹, 刘萌¹, 龚子超¹, 董晶²()

^1.湖南工程学院电气与信息工程学院，湘潭 411104
^2.中南大学航空航天技术研究院，长沙 410083

收稿日期:2023-04-03 修回日期:2023-04-24 接受日期:2023-07-06 出版日期:2024-02-15 发布日期:2023-07-21
通讯作者: 董晶 E-mail:dongjing@csu.edu.cn
基金资助:
国家自然科学基金(62173134);湖南省教育厅科研项目(21B0661)

A review of image matching methods based on deep learning

Haiqiao LIU¹, Meng LIU¹, Zichao GONG¹, Jing DONG²()

^1.School of Electrical and Information Engineering，Hunan Institute of Engineering，Xiangtan 411104，China
^2.Research Institute of Aerospace Technology，Central South University，Changsha 410083，China

Received:2023-04-03 Revised:2023-04-24 Accepted:2023-07-06 Online:2024-02-15 Published:2023-07-21
Contact: Jing DONG E-mail:dongjing@csu.edu.cn
Supported by:
National Natural Science Foundation of China(62173134);Scientific Research Foundation of Hunan Provincial Department of Education(21B0661)

摘要/Abstract

摘要：

图像匹配是飞行器视觉导航中的一项关键技术。基于深度学习的图像匹配方法在近几年快速发展，其特征提取网络比传统方法具有明显优势与广阔的应用前景。基于深度学习的图像匹配方法可以按照网络结构的不同分为单环节网络模型匹配方法和端到端网络模型匹配方法。首先对单环节网络模型中的特征检测模型、描述符学习模型、相似度度量模型和误差剔除模型逐一进行了深度调研及分析，然后对端到端匹配网络模型中的单网络结构方法和多网络结构组合方法进行了针对性的综述，并对经典的端到端匹配网络模型算法进行了介绍和分析。最后，结合目前基于深度学习的图像匹配方法存在的问题，指出未来可能的发展趋势和方向，为后续研究者在深度学习图像匹配的研究提供一定参考。

关键词: 深度学习, 图像匹配, 视觉导航, 单环节, 端到端, 特征检测

Abstract:

Image matching is a key technology in aircraft visual navigation. The image matching methods based on deep learning have developed rapidly in recent years. The feature extraction network of the methods has obvious advantages over traditional methods， and has broad prospects for application. The image matching method based on deep learning can be divided into the single-link matching network model method and the end-to-end matching network model matching method according to different network structures. In this paper， the feature detection， descriptor learning， similarity measurement and error elimination network model of the network model of the single-link matching method network model are first investigated and analyzed. Then， the single-network structure method and multi-network structure combination method in the end-to-end matching network model are reviewed， and the classic end-to-end matching network model algorithm is introduced and analyzed. Finally， the problems of current image matching methods based on deep learning are pointed out， and the possible development trend and direction in the future are discussed to provide a certain reference for subsequent research on deep-learning based image matching.

Key words: deep learning, image matching, visual navigation, single link, end-to-end, feature detection

中图分类号:

V279

刘海桥, 刘萌, 龚子超, 董晶. 基于深度学习的图像匹配方法综述[J]. 航空学报, 2024, 45(3): 28796-028796.

Haiqiao LIU, Meng LIU, Zichao GONG, Jing DONG. A review of image matching methods based on deep learning[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(3): 28796-028796.

图/表 7

图1

表1

表2

图2

表3

单网络结构的端到端模型优点和局限性

方法	优点	局限性
SuperPoint^［57］	①采用了轻量级的卷积神经网络结构，能够在较短的时间内提取出大量的图像特征 ②采用了模块化的设计，能够很容易地将它应用到不同的图像处理任务中	对图像的旋转变化、尺度变化、遮挡不够鲁棒
D2-Net^［58］	①鲁棒性强 ②适用性广，不受图像大小、形状、旋转和光照等因素的影响	对遮挡和变形敏感
BSS-2chDCNN^［59］	①鲁棒性强 ②适用性广，不受图像大小、形状、旋转和光照等因素的影响	多个超参数需要调整，包括神经网络结构
LF-Net^［60］	①适用于复杂场景 ②不需要使用手工制作的检测器来生成训练数据	仅限于角和边缘的特征
RF-Net^［61］	①不依赖数据集 ②能生成更有效的比例空间和响应	对于复杂场景效果不理想
文献［62］	①不依赖数据集	对存在显著旋转和尺度变化的多模态复杂数据匹配效果一般
文献［63］	①适合于处理遥感图像的复杂特征 ②保留了大尺度遥感场景中每个斑块的纹理完整性，为特征提取提供了适当的邻域信息，提高了特征表示的可靠性	样本在训练阶段邻域信息的丢失以及检测的关键点不均匀
KCG-GAN^［64］	①通过约束空间信息合成来提高合成的图像质量 ②引入了知识约束，将先验知识应用于GAN模型中，从而提高了模型的稳定性和性能	需要调整的超参数较多
LoFTR^［65］	①较好地解决了同名特征点对数不足的情况下对图像的匹配 ②鲁棒性强，用自监督学习方法来训练，可以对输入数据进行自适应的学习	训练数据要求高
UnsuperPoint^［66］	①模型非常轻量级，能够实时运行 ②无监督学习，可以在没有标注数据的情况下使用	只能处理二维图像，无法处理三维点云数据等其他形式的数据

表3

表4

表5

参考文献 72

1	赵耀，熊智，田世伟，等. 基于SAR图像匹配结果可信度评价的INS/SAR自适应Kalman滤波算法［J］. 航空学报， 2019， 40（8）： 322850.
	ZHAO Y， XIONG Z， TIAN S W， et al. INS/SAR adaptive Kalman filtering algorithm based on credibility evaluation of SAR image matching results［J］. Acta Aeronautica et Astronautica Sinica， 2019， 40（8）： 322850 （in Chinese）.
2	叶铮，朱岱寅，吴迪. 一种基于重叠子孔径回波信息的SAR图像配准算法［J］. 航空学报， 2023， 44（8）： 196-207.
	YE Z， ZHU D Y， WU D. SAR image registration algorithm based on echo information of overlapping subaperture［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（8）： 196-207 （in Chinese）.
3	WEI Y， GUO H K， LU J W， et al. Iterative feature matching for self-supervised indoor depth estimation［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（6）： 3839-3852.
4	FU Y J， ZHANG P J， LIU B X， et al. Learning to reduce scale differences for large-scale invariant image matching［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2023， 33（3）： 1335-1348.
5	JIN Y， MISHKIN D， MISHCHUK A， et al. Image matching across wide baselines： From paper to practice［J］. International Journal of Computer Vision， 2021， 129（2）： 517-547.
6	赵春晖，樊斌，田利民，等. 基于极线几何的统计优化特征匹配算法［J］. 航空学报， 2018， 39（5）： 321727.
	ZHAO C H， FAN B， TIAN L M， et al. Statistical optimization feature matching algorithm based on epipolar geometry［J］. Acta Aeronautica et Astronautica Sinica， 2018， 39（5）： 321727 （in Chinese）.
7	王子玲，熊振宇，顾祥岐. 可见光与SAR多源遥感图像关联学习算法［J］. 航空学报， 2022， 43（S1）： 727239.
	WANG Z L， XIONG Z Y， GU X Q. Correlation learning algorithm of visible light and SAR cross modal remote sensing images［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（S1）： 727239 （in Chinese）.
8	LOWE D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.
9	BAY H， TUYTELAARS T， VAN GOOL L. SURF： Speeded up robust features［M］∥ Computer Vision – ECCV 2006. Berlin， Heidelberg： Springer， 2006： 404-417.
10	RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF［C］∥ 2011 International Conference on Computer Vision. Piscataway： IEEE Press， 2012： 2564-2571.
11	LI J Y， HU Q W， AI M Y. RIFT： Multi-modal image matching based on radiation-variation insensitive feature transform［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society， 2019， 29： 3296-3310.
12	MOREL J M， YU G S. ASIFT： A new framework for fully affine invariant image comparison［J］. SIAM Journal on Imaging Sciences， 2009， 2（2）： 438-469.
13	ALCANTARILLA P F， BARTOLI A， DAVISON A J. KAZE features［C］∥ European Conference on Computer Vision. Berlin， Heidelberg： Springer， 2012： 214-227.
14	LEUTENEGGER S， CHLI M， SIEGWART R Y. BRISK： binary robust invariant scalable keypoints［C］∥ 2011 International Conference on Computer Vision. Piscataway： IEEE Press， 2012： 2548-2555.
15	KORMAN S， REICHMAN D， TSUR G， et al. FasT-match： Fast affine template matching［C］∥ 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2013： 2331-2338.
16	DONG J， HU M Q， LU J Z， et al. Affine template matching based on multi-scale dense structure principal direction［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2021， 31（6）： 2125-2132.
17	REVAUD J， WEINZAEPFEL P， HARCHAOUI Z， et al. DeepMatching： Hierarchical deformable dense matching［J］. International Journal of Computer Vision， 2016， 120（3）： 300-323.
18	YE Y X， SHEN L. Hopc： A novel similarity metric based on geometric structural properties for multi-modal remote sensing image matching［J］. ISPRS Annals of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2016， III-1： 9-16.
19	CHOPRA S， HADSELL R， LECUN Y. Learning a similarity metric discriminatively， with application to face verification［C］∥ 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'05）. Piscataway： IEEE Press， 2005： 539-546.
20	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all You need［C］∥ Proceedings of the 31st International Conference on Neural Information Processing Systems. New York： ACM， 2017： 6000-6010.
21	SCARSELLI F， GORI M， TSOI A C， et al. The graph neural network model［J］. IEEE Transactions on Neural Networks， 2009， 20（1）： 61-80.
22	MIRZA M， OSINDERO S. Conditional generative adversarial nets［DB/OL］. arXiv preprint： 1411.1784， 2014.
23	WANG Q， ZHANG J， YANG K， et al. Matchformer： Interleaving attention in transformers for feature matching［C］∥ Proceedings of the Asian Conference on Computer Vision. 2022： 2746-2762.
24	杨济瑞，张晓燕，罗攀. 基于图像匹配的特征点检测方法综述［J］. 电子测试， 2021（6）： 53-54， 92.
	YANG J R， ZHANG X Y， LUO P. A summary of feature point detection based on image mosaics［J］. Electronic Test， 2021（6）： 53-54， 92 （in Chinese）.
25	黄海波，李晓玲，熊文怡，等. 基于SIFT算法的图像配准综述［J］. 软件导刊， 2019， 18（1）： 1-4.
	HUANG H B， LI X L， XIONG W Y， et al. A survey of image registration based on SIFT［J］. Software Guide， 2019， 18（1）： 1-4 （in Chinese）.
26	罗世彬，刘海桥，胡茂青，等. 无人飞行器异源图像匹配辅助惯性导航定位技术综述［J］. 国防科技大学学报， 2020， 42（6）： 1-10.
	LUO S B， LIU H Q， HU M Q， et al. Review of multi-modal image matching assisted inertial navigation positioning technology for unmanned aerial vehicle［J］. Journal of National University of Defense Technology， 2020， 42（6）： 1-10 （in Chinese）.
27	赵春晖，周昳慧，林钊，等. 无人机景象匹配视觉导航技术综述［J］. 中国科学：信息科学， 2019， 49（5）： 507-519.
	ZHAO C H， ZHOU I， LIN Z， et al. Review of scene matching visual navigation for unmanned aerial vehicles［J］. Scientia Sinica （Informationis）， 2019， 49（5）： 507-519 （in Chinese）.
28	眭海刚，刘畅，干哲，等. 多模态遥感图像匹配方法综述［J］. 测绘学报， 2022， 51（9）： 1848-1861.
	SUI H G， LIU C， GAN Z， et al. Overview of multi-modal remote sensing image matching methods［J］. Acta Geodaetica et Cartographica Sinica， 2022， 51（9）： 1848-1861 （in Chinese）.
29	贾迪，朱宁丹，杨宁华，等. 图像匹配方法研究综述［J］. 中国图象图形学报， 2019， 24（5）： 677-699.
	JIA D， ZHU N D， YANG N H， et al. Image matching methods［J］. Journal of Image and Graphics， 2019， 24（5）： 677-699 （in Chinese）.
30	MA J Y， JIANG X Y， FAN A X， et al. Image matching from handcrafted to deep features： A survey［J］. International Journal of Computer Vision， 2021， 129（1）： 23-79.
31	曾庆化，潘鹏举，刘建业，等. 惯性信息辅助的大视角目标快速精确定位［J］. 航空学报， 2017， 38（8）： 321171.
	ZENG Q H， PAN P J， LIU J Y， et al. Fast and accurate target positioning with large viewpoint based on inertial navigation system information［J］. Acta Aeronautica et Astronautica Sinica， 2017， 38（8）： 321171 （in Chinese）.
32	YUAN X， HU K， CHEN S. Realtime CNN-based keypoint detector with sobel filter and CNN-based descriptor trained with keypoint candidates［DB/OL］. arXiv preprint： 2011.02119，2020.
33	TIAN Y R， BALNTAS V， NG T， et al. D2D： Keypoint extraction with describe to detect approach［C］∥ Asian Conference on Computer Vision. Cham： Springer， 2021： 223-240.
34	PAUTRAT R， LIN J T， LARSSON V， et al. SOLD2： Self-supervised occlusion-aware line description and detection［C］∥ 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 11363-11373.
35	FAN B， WU F C， HU Z Y. Line matching leveraged by point correspondences［C］∥ 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2010： 390-397.
36	HE H Q， CHEN M， CHEN T， et al. Matching of remote sensing images with complex background variations via Siamese convolutional neural network［J］. Remote Sensing， 2018， 10（3）： 355.
37	LIU R， LENG X F， LIU Y. A fast image matching algorithm based on Yolov3［J］. Transactions of Nanjing University of Aeronautics and Astronautics， 2021， 38（5）： 807⁃815.
38	WANG X J， LIU Z Y， HU Y， et al. FeatureBooster： Boosting feature descriptors with a lightweight neural network［DB/OL］. arXiv preprint： 2211.15069， 2022.
39	LUO Z X， SHEN T W， ZHOU L， et al. ContextDesc： Local descriptor augmentation with cross-modality context［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 2522-2531.
40	FAN B， LIU H M， ZENG H， et al. Deep unsupervised binary descriptor learning through locality consistency and self distinctiveness［J］. IEEE Transactions on Multimedia， 2021， 23： 2770-2781.
41	WU G S， LIN Z J， DING G G， et al. On aggregation of unsupervised deep binary descriptor with weak bits［J］. IEEE Transactions on Image Processing， 2020， 29： 9266-9278.
42	TIAN Y R， YU X， FAN B， et al. SOSNet： Second order similarity regularization for local descriptor learning［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 11008-11017.
43	YI K M， TRULLS E， LEPETIT V， et al. LIFT： Learned invariant feature transform［M］∥ LEIBE B， MATAS J， SEBE N， et al.， Eds. Computer Vision – ECCV 2016. Cham： Springer International Publishing， 2016： 467-483.
44	BAI Y S， DING H， BIAN S， et al. SimGNN： A neural network approach to fast graph similarity computation［C］∥ Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining. New York： ACM， 2019： 384-392.
45	WU Y， MA W P， GONG M G， et al. A novel point-matching algorithm based on fast sample consensus for image registration［J］. IEEE Geoscience and Remote Sensing Letters， 2015， 12（1）： 43-47.
46	姚永祥，张永军，万一，等. 顾及各向异性加权力矩与绝对相位方向的异源影像匹配［J］. 武汉大学学报（信息科学版）， 2021， 46（11）： 1727-1736.
	YAO Y X， ZHANG Y J， WAN Y， et al. Heterologous images matching considering anisotropic weighted moment and absolute phase orientation［J］. Geomatics and Information Science of Wuhan University， 2021， 46（11）： 1727-1736 （in Chinese）.
47	FAN Z L， LIU Y X， LIU Y X， et al. 3MRS： An effective coarse-to-fine matching method for multimodal remote sensing imagery［J］. Remote Sensing， 2022， 14（3）： 478.
48	YAO Y X， ZHANG Y J， WAN Y， et al. Multi-modal remote sensing image matching considering co-occurrence filter［J］. IEEE Transactions on Image Processing： A Publication of the IEEE Signal Processing Society， 2022， 31： 2584-2597.
49	MA J Y， JIANG X Y， JIANG J J， et al. LMR： Learning a two-class classifier for mismatch removal［J］. IEEE Transactions on Image Processing， 2019， 28（8）： 4045-4059.
50	YI K M， TRULLS E， ONO Y， et al. Learning to find good correspondences［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 2666-2674.
51	ZHAO C， CAO Z G， LI C， et al. NM-net： Mining reliable neighbors for robust feature correspondences［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 215-224.
52	孙琨，代文. 基于多尺度损失函数的误匹配剔除方法［J］. 山西大学学报（自然科学版）， 2022， 45（3）： 641-648.
	SUN K， DAI W. A multi-scale loss function for mismatch removing［J］. Journal of Shanxi University （Natural Science Edition）， 2022， 45（3）： 641-648 （in Chinese）.
53	REVAUD J， DE SOUZA C， HUMENBERGER M， et al. R2d2： Reliable and repeatable detector and descriptor［J］. Advances in Neural Information Processing Systems， 2019， 32.
54	GEORGAKIS G， KARANAM S， WU Z Y， et al. End-to-end learning of keypoint detector and descriptor for pose invariant 3D matching［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 1965-1973.
55	HUGHES L H， MARCOS D， LOBRY S， et al. A deep learning framework for matching of SAR and optical imagery［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2020， 169： 166-179.
56	TYSZKIEWICZ M J， FUA P， TRULLS E. DISK： Learning local features with policy gradient［DB/OL］. arXiv preprint： 2006.13566， 2020.
57	DETONE D， MALISIEWICZ T， RABINOVICH A. SuperPoint： Self-supervised interest point detection and description［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway： IEEE Press， 2018.
58	DUSMANU M， ROCCO I， PAJDLA T， et al. D2-net： A trainable CNN for joint description and detection of local features［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 8084-8093.
59	范大昭，董杨，张永生. 卫星影像匹配的深度卷积神经网络方法［J］. 测绘学报， 2018， 47（6）： 844-853.
	FAN D Z， DONG Y， ZHANG Y S. Satellite image matching method based on deep convolution neural network［J］. Acta Geodaetica et Cartographica Sinica， 2018， 47（6）： 844-853 （in Chinese）.
60	ONO Y， TRULLS E， FUA P， et al. LF-net： Learning local features from images［DB/OL］. arXiv preprint： 1805.09662， 2018.
61	SHEN X L， WANG C， LI X， et al. RF-net： An end-to-end image matching network based on receptive field［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 8124-8132.
62	南轲，齐华，叶沅鑫. 深度卷积特征表达的多模态遥感影像模板匹配方法［J］. 测绘学报， 2019， 48（6）： 727-736.
	NAN K， QI H， YE Y X. A template matching method of multimodal remote sensing images based on deep convolutional feature representation［J］. Acta Geodaetica et Cartographica Sinica， 2019， 48（6）： 727-736 （in Chinese）.
63	ZHU H， JIAO L C， MA W P， et al. A novel neural network for remote sensing image matching［J］. IEEE Transactions on Neural Networks and Learning Systems， 2019， 30（9）： 2853-2865.
64	DU W L， ZHOU Y， ZHAO J Q， et al. K-means clustering guided generative adversarial networks for SAR-optical image matching［J］. IEEE Access， 2020， 8： 217554-217572.
65	SUN J M， SHEN Z H， WANG Y A， et al. LoFTR： Detector-free local feature matching with transformers［C］∥ 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 8918-8927.
66	CHRISTIANSEN P H， KRAGH M F， BRODSKIY Y， et al. UnsuperPoint： End-to-end unsupervised interest point detector and descriptor［DB/OL］. arXiv preprint： 1907.04011， 2019.
67	HAN X F， LEUNG T， JIA Y Q， et al. MatchNet： Unifying feature and metric learning for patch-based matching［C］∥ 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2015： 3279-3286.
68	黄柏圣. 基于端到端网络机制跨域稀疏SAR与光学图像精准匹配方法［J］. 现代雷达， 2022， 44（12）： 106-111.
	HUANG B S. Accurate matching method of cross-domain sparse SAR and optical image based on end-to-end deep learning framework［J］. Modern Radar， 2022， 44（12）： 106-111 （in Chinese）.
69	刘磊，李元祥，倪润生，等. 基于卷积与图神经网络的合成孔径雷达与可见光图像配准［J］. 光学学报， 2022， 42（24）： 110-120.
	LIU L， LI Y X， NI R S， et al. Synthetic aperture radar and optical images registration based on convolutional and graph neural networks［J］. Acta Optica Sinica， 2022， 42（24）： 110-120 （in Chinese）.
70	NIKOLAEV A V， DE JONG L， WEIJERS G， et al. Quantitative evaluation of an automated cone-based breast ultrasound scanner for MRI–3D US image fusion［J］. IEEE Transactions on Medical Imaging， 2021， 40（4）： 1229-1239.
71	MO Y， KANG X D， DUAN P H， et al. A robust UAV hyperspectral image stitching method based on deep feature matching［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 1-14.
72	XIE Y L， LIU M， ZHOU S R， et al. A deep local patch matching network for cell tracking in microscopy image sequences without registration［J］. IEEE/ACM Transactions on Computational Biology and Bioinformatics， 2022， 19（6）： 3202-3212.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

方法	Saint Peter’s Square			Brown_3			Reichstag
方法	P	R	F1	P	R	F1	P	R	F1
RANSAC^［51］	0.534 6	0.326 3	0.394 5	0.531 5	0.279 7	0.351 8	0.737 3	0.515 9	0.599 9
LGC^［50］	0.806 9	0.565 2	0.656 7	0.689 8	0.394 5	0.478 7	0.913 6	0.615 8	0.729 6
文献［51］	0.828 9	0.567	0.665 1	0.689 8	0.392 2	0.482 4	0.922 7	0.613 6	0.730 7

方法	单应性估计（HPatches @3px）	相对姿态估计（ScanNet @5°）	视觉定位（ScanNet Night）	三维重建（Dataset：Madrid Metropolis）	方法复杂度
LoFTR-DS^［65］	65.9（AUC）	22.06（AUC）	99.0（1.0 m，10°）		较高
SuperPoint+SuperGlue^［57］	53.9（AUC）	16.16（AUC）	98.4（1.0 m，10°）		较低
SuperPoint+NN+OANet^［57］	44.55（AUC）	11.76（AUC）			较高
SIFT+SuperGlue^［65］	6.71（AUC）	6.71（AUC）			较高
SIFT+NN+OANet^［65］		6.00（AUC）			较高
SuperPoint^［57］	0.684		57.1（1.0 m，5°）		低
R2D2+NN^［53］			98.9（1.0 m，10°）		高
D2 MS trained^［65］			64.3（1.0 m，5°）	144K（Sparse.Points）	高
RootSIFT^［8］			54.1（1.0 m，5°）	116K（Sparse.Points）	最高
SIFT^［8］	0.676				低
ORB^［10］	0.395				低
ORB+GMS^［10］		5.21（AUC）			较低

[1]	柳家齐, 陈荣钱, 楼锦华, 韩旭, 吴昊, 尤延铖. 基于深度学习的高速直升机旋翼翼型气动优化设计[J]. 航空学报, 2024, 45(9): 529828-529828.
[2]	罗旭东, 吴一全, 陈金林. 无人机航拍影像目标检测与语义分割的深度学习方法研究进展[J]. 航空学报, 2024, 45(6): 28822-028822.
[3]	叶熠彬, 滕锡超, 于起峰, 李璋. 基于MatchNet和多点匹配约束的可见光-SAR图像匹配[J]. 航空学报, 2024, 45(10): 329162-329162.
[4]	陈立群, 邹旭, 张磊, 朱颖盼, 王港, 陈金勇. 基于国产商用器件的星载智能目标检测技术[J]. 航空学报, 2023, 44(S2): 728860-728860.
[5]	苏鑫, 管润程, 王桥, 苑伟政, 吕湘连, 何洋. 基于深度学习的结冰区域和厚度检测方法[J]. 航空学报, 2023, 44(S2): 729283-729283.
[6]	刘鹏宇, 朱雪耀. 基于深度学习的融合空域空管指令语义解析技术[J]. 航空学报, 2023, 44(S1): 727592-727592.
[7]	张怀捷, 马静雅, 刘浩源, 郭品, 邓慧超, 徐坤, 丁希仑. 视觉与惯性融合的多旋翼飞行机器人室内定位技术[J]. 航空学报, 2023, 44(5): 426964-426964.
[8]	何磊, 钱炜祺, 董康生, 易贤, 柴聪聪. 基于卷积神经网络的结冰翼型气动特性建模[J]. 航空学报, 2023, 44(5): 126434-126434.
[9]	丁鹏, 宋亚飞. 代价敏感的空中目标意图识别方法[J]. 航空学报, 2023, 44(24): 328551-328551.
[10]	李晓航, 周建江. 基于自适应记忆长度的多尺度模态融合网络[J]. 航空学报, 2023, 44(22): 628977-628977.
[11]	杜昕, 朱喆, 胡芳芳, 黄江涛, 刘刚, 章胜, 单恩光, 唐骥罡. 空中无人加油自主对接导航制导与控制[J]. 航空学报, 2023, 44(20): 628827-628827.
[12]	王平, 付辉, 徐贵力. 基于旋转搜索的相机位姿估计和对应点匹配[J]. 航空学报, 2023, 44(2): 326695-326695.
[13]	赵鋆赫, 王生楠. 基于深度学习的权函数法应力强度因子求解[J]. 航空学报, 2023, 44(19): 228367-228367.
[14]	罗皓文, 何绍溟, 金天宇, 刘子超. 基于迁移学习的角度约束时间最短制导算法[J]. 航空学报, 2023, 44(19): 328400-328400.
[15]	高树一, 林德福, 郑多, 胡馨予. 针对集群攻击的飞行器智能协同拦截策略[J]. 航空学报, 2023, 44(18): 328301-328301.

基于深度学习的图像匹配方法综述

A review of image matching methods based on deep learning

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 72

相关文章 15

编辑推荐

Metrics

本文评价

方法	MMA/%
	Viewpoints			Illumination			Overall
	1@px	3@px	5@px	1@px	3@px	5@px	1@px	3@px	5@px
SIFT^［8］	29	54	59	33	54	57	32	53	58
ORB^［10］	13	38	42	29	42	44	21	40	43
SobelNet^［32］			68.95			79.68			74.22
D2D^［33］	14	62	75	79	80	89	45	71	83
文献［38］	38	65	66	46	73	80	42	70	74
LIFT^［43］							28.4	59.8	71.7
R2D2^［53］	26	68	78	32	70	83	30	69	80