ACTA AERONAUTICAET ASTRONAUTICA SINICA >
A review of image matching methods based on deep learning
Received date: 2023-04-03
Revised date: 2023-04-24
Accepted date: 2023-07-06
Online published: 2023-07-21
Supported by
National Natural Science Foundation of China(62173134);Scientific Research Foundation of Hunan Provincial Department of Education(21B0661)
Image matching is a key technology in aircraft visual navigation. The image matching methods based on deep learning have developed rapidly in recent years. The feature extraction network of the methods has obvious advantages over traditional methods， and has broad prospects for application. The image matching method based on deep learning can be divided into the single-link matching network model method and the end-to-end matching network model matching method according to different network structures. In this paper， the feature detection， descriptor learning， similarity measurement and error elimination network model of the network model of the single-link matching method network model are first investigated and analyzed. Then， the single-network structure method and multi-network structure combination method in the end-to-end matching network model are reviewed， and the classic end-to-end matching network model algorithm is introduced and analyzed. Finally， the problems of current image matching methods based on deep learning are pointed out， and the possible development trend and direction in the future are discussed to provide a certain reference for subsequent research on deep-learning based image matching.
Key words： deep learning; image matching; visual navigation; single link; end-to-end; feature detection
Haiqiao LIU , Meng LIU , Zichao GONG , Jing DONG . A review of image matching methods based on deep learning[J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2024 , 45(3) : 28796 -028796 . DOI: 10.7527/S1000-6893.2023.28796
| 1 | 赵耀， 熊智， 田世伟， 等. 基于SAR图像匹配结果可信度评价的INS/SAR自适应Kalman滤波算法［J］. 航空学报， 2019， 40（8）： 322850. |
| ZHAO Y， XIONG Z， TIAN S W， et al. INS/SAR adaptive Kalman filtering algorithm based on credibility evaluation of SAR image matching results［J］. Acta Aeronautica et Astronautica Sinica， 2019， 40（8）： 322850 （in Chinese）. | |
| 2 | 叶铮， 朱岱寅， 吴迪. 一种基于重叠子孔径回波信息的SAR图像配准算法［J］. 航空学报， 2023， 44（8）： 196-207. |
| YE Z， ZHU D Y， WU D. SAR image registration algorithm based on echo information of overlapping subaperture［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（8）： 196-207 （in Chinese）. | |
| 3 | WEI Y， GUO H K， LU J W， et al. Iterative feature matching for self-supervised indoor depth estimation［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（6）： 3839-3852. |
| 4 | FU Y J， ZHANG P J， LIU B X， et al. Learning to reduce scale differences for large-scale invariant image matching［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2023， 33（3）： 1335-1348. |
| 5 | JIN Y， MISHKIN D， MISHCHUK A， et al. Image matching across wide baselines： From paper to practice［J］. International Journal of Computer Vision， 2021， 129（2）： 517-547. |
| 6 | 赵春晖， 樊斌， 田利民， 等. 基于极线几何的统计优化特征匹配算法［J］. 航空学报， 2018， 39（5）： 321727. |
| ZHAO C H， FAN B， TIAN L M， et al. Statistical optimization feature matching algorithm based on epipolar geometry［J］. Acta Aeronautica et Astronautica Sinica， 2018， 39（5）： 321727 （in Chinese）. | |
| 7 | 王子玲， 熊振宇， 顾祥岐. 可见光与SAR多源遥感图像关联学习算法［J］. 航空学报， 2022， 43（S1）： 727239. |
| WANG Z L， XIONG Z Y， GU X Q. Correlation learning algorithm of visible light and SAR cross modal remote sensing images［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（S1）： 727239 （in Chinese）. | |
| 8 | LOWE D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110. |
| 9 | BAY H， TUYTELAARS T， VAN GOOL L. SURF： Speeded up robust features［M］∥ Computer Vision – ECCV 2006. Berlin， Heidelberg： Springer， 2006： 404-417. |
| 10 | RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF［C］∥ 2011 International Conference on Computer Vision. Piscataway： IEEE Press， 2012： 2564-2571. |
| 11 | LI J Y， HU Q W， AI M Y. RIFT： Multi-modal image matching based on radiation-variation insensitive feature transform［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society， 2019， 29： 3296-3310. |
| 12 | MOREL J M， YU G S. ASIFT： A new framework for fully affine invariant image comparison［J］. SIAM Journal on Imaging Sciences， 2009， 2（2）： 438-469. |
| 13 | ALCANTARILLA P F， BARTOLI A， DAVISON A J. KAZE features［C］∥ European Conference on Computer Vision. Berlin， Heidelberg： Springer， 2012： 214-227. |
| 14 | LEUTENEGGER S， CHLI M， SIEGWART R Y. BRISK： binary robust invariant scalable keypoints［C］∥ 2011 International Conference on Computer Vision. Piscataway： IEEE Press， 2012： 2548-2555. |
| 15 | KORMAN S， REICHMAN D， TSUR G， et al. FasT-match： Fast affine template matching［C］∥ 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2013： 2331-2338. |
| 16 | DONG J， HU M Q， LU J Z， et al. Affine template matching based on multi-scale dense structure principal direction［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2021， 31（6）： 2125-2132. |
| 17 | REVAUD J， WEINZAEPFEL P， HARCHAOUI Z， et al. DeepMatching： Hierarchical deformable dense matching［J］. International Journal of Computer Vision， 2016， 120（3）： 300-323. |
| 18 | YE Y X， SHEN L. Hopc： A novel similarity metric based on geometric structural properties for multi-modal remote sensing image matching［J］. ISPRS Annals of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2016， III-1： 9-16. |
| 19 | CHOPRA S， HADSELL R， LECUN Y. Learning a similarity metric discriminatively， with application to face verification［C］∥ 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'05）. Piscataway： IEEE Press， 2005： 539-546. |
| 20 | VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all You need［C］∥ Proceedings of the 31st International Conference on Neural Information Processing Systems. New York： ACM， 2017： 6000-6010. |
| 21 | SCARSELLI F， GORI M， TSOI A C， et al. The graph neural network model［J］. IEEE Transactions on Neural Networks， 2009， 20（1）： 61-80. |
| 22 | MIRZA M， OSINDERO S. Conditional generative adversarial nets［DB/OL］. arXiv preprint： 1411.1784， 2014. |
| 23 | WANG Q， ZHANG J， YANG K， et al. Matchformer： Interleaving attention in transformers for feature matching［C］∥ Proceedings of the Asian Conference on Computer Vision. 2022： 2746-2762. |
| 24 | 杨济瑞， 张晓燕， 罗攀. 基于图像匹配的特征点检测方法综述［J］. 电子测试， 2021（6）： 53-54， 92. |
| YANG J R， ZHANG X Y， LUO P. A summary of feature point detection based on image mosaics［J］. Electronic Test， 2021（6）： 53-54， 92 （in Chinese）. | |
| 25 | 黄海波， 李晓玲， 熊文怡， 等. 基于SIFT算法的图像配准综述［J］. 软件导刊， 2019， 18（1）： 1-4. |
| HUANG H B， LI X L， XIONG W Y， et al. A survey of image registration based on SIFT［J］. Software Guide， 2019， 18（1）： 1-4 （in Chinese）. | |
| 26 | 罗世彬， 刘海桥， 胡茂青， 等. 无人飞行器异源图像匹配辅助惯性导航定位技术综述［J］. 国防科技大学学报， 2020， 42（6）： 1-10. |
| LUO S B， LIU H Q， HU M Q， et al. Review of multi-modal image matching assisted inertial navigation positioning technology for unmanned aerial vehicle［J］. Journal of National University of Defense Technology， 2020， 42（6）： 1-10 （in Chinese）. | |
| 27 | 赵春晖， 周昳慧， 林钊， 等. 无人机景象匹配视觉导航技术综述［J］. 中国科学： 信息科学， 2019， 49（5）： 507-519. |
| ZHAO C H， ZHOU I， LIN Z， et al. Review of scene matching visual navigation for unmanned aerial vehicles［J］. Scientia Sinica （Informationis）， 2019， 49（5）： 507-519 （in Chinese）. | |
| 28 | 眭海刚， 刘畅， 干哲， 等. 多模态遥感图像匹配方法综述［J］. 测绘学报， 2022， 51（9）： 1848-1861. |
| SUI H G， LIU C， GAN Z， et al. Overview of multi-modal remote sensing image matching methods［J］. Acta Geodaetica et Cartographica Sinica， 2022， 51（9）： 1848-1861 （in Chinese）. | |
| 29 | 贾迪， 朱宁丹， 杨宁华， 等. 图像匹配方法研究综述［J］. 中国图象图形学报， 2019， 24（5）： 677-699. |
| JIA D， ZHU N D， YANG N H， et al. Image matching methods［J］. Journal of Image and Graphics， 2019， 24（5）： 677-699 （in Chinese）. | |
| 30 | MA J Y， JIANG X Y， FAN A X， et al. Image matching from handcrafted to deep features： A survey［J］. International Journal of Computer Vision， 2021， 129（1）： 23-79. |
| 31 | 曾庆化， 潘鹏举， 刘建业， 等. 惯性信息辅助的大视角目标快速精确定位［J］. 航空学报， 2017， 38（8）： 321171. |
| ZENG Q H， PAN P J， LIU J Y， et al. Fast and accurate target positioning with large viewpoint based on inertial navigation system information［J］. Acta Aeronautica et Astronautica Sinica， 2017， 38（8）： 321171 （in Chinese）. | |
| 32 | YUAN X， HU K， CHEN S. Realtime CNN-based keypoint detector with sobel filter and CNN-based descriptor trained with keypoint candidates［DB/OL］. arXiv preprint： 2011.02119，2020. |
| 33 | TIAN Y R， BALNTAS V， NG T， et al. D2D： Keypoint extraction with describe to detect approach［C］∥ Asian Conference on Computer Vision. Cham： Springer， 2021： 223-240. |
| 34 | PAUTRAT R， LIN J T， LARSSON V， et al. SOLD2： Self-supervised occlusion-aware line description and detection［C］∥ 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 11363-11373. |
| 35 | FAN B， WU F C， HU Z Y. Line matching leveraged by point correspondences［C］∥ 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2010： 390-397. |
| 36 | HE H Q， CHEN M， CHEN T， et al. Matching of remote sensing images with complex background variations via Siamese convolutional neural network［J］. Remote Sensing， 2018， 10（3）： 355. |
| 37 | LIU R， LENG X F， LIU Y. A fast image matching algorithm based on Yolov3［J］. Transactions of Nanjing University of Aeronautics and Astronautics， 2021， 38（5）： 807?815. |
| 38 | WANG X J， LIU Z Y， HU Y， et al. FeatureBooster： Boosting feature descriptors with a lightweight neural network［DB/OL］. arXiv preprint： 2211.15069， 2022. |
| 39 | LUO Z X， SHEN T W， ZHOU L， et al. ContextDesc： Local descriptor augmentation with cross-modality context［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 2522-2531. |
| 40 | FAN B， LIU H M， ZENG H， et al. Deep unsupervised binary descriptor learning through locality consistency and self distinctiveness［J］. IEEE Transactions on Multimedia， 2021， 23： 2770-2781. |
| 41 | WU G S， LIN Z J， DING G G， et al. On aggregation of unsupervised deep binary descriptor with weak bits［J］. IEEE Transactions on Image Processing， 2020， 29： 9266-9278. |
| 42 | TIAN Y R， YU X， FAN B， et al. SOSNet： Second order similarity regularization for local descriptor learning［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 11008-11017. |
| 43 | YI K M， TRULLS E， LEPETIT V， et al. LIFT： Learned invariant feature transform［M］∥ LEIBE B， MATAS J， SEBE N， et al.， Eds. Computer Vision – ECCV 2016. Cham： Springer International Publishing， 2016： 467-483. |
| 44 | BAI Y S， DING H， BIAN S， et al. SimGNN： A neural network approach to fast graph similarity computation［C］∥ Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining. New York： ACM， 2019： 384-392. |
| 45 | WU Y， MA W P， GONG M G， et al. A novel point-matching algorithm based on fast sample consensus for image registration［J］. IEEE Geoscience and Remote Sensing Letters， 2015， 12（1）： 43-47. |
| 46 | 姚永祥， 张永军， 万一， 等. 顾及各向异性加权力矩与绝对相位方向的异源影像匹配［J］. 武汉大学学报（信息科学版）， 2021， 46（11）： 1727-1736. |
| YAO Y X， ZHANG Y J， WAN Y， et al. Heterologous images matching considering anisotropic weighted moment and absolute phase orientation［J］. Geomatics and Information Science of Wuhan University， 2021， 46（11）： 1727-1736 （in Chinese）. | |
| 47 | FAN Z L， LIU Y X， LIU Y X， et al. 3MRS： An effective coarse-to-fine matching method for multimodal remote sensing imagery［J］. Remote Sensing， 2022， 14（3）： 478. |
| 48 | YAO Y X， ZHANG Y J， WAN Y， et al. Multi-modal remote sensing image matching considering co-occurrence filter［J］. IEEE Transactions on Image Processing： A Publication of the IEEE Signal Processing Society， 2022， 31： 2584-2597. |
| 49 | MA J Y， JIANG X Y， JIANG J J， et al. LMR： Learning a two-class classifier for mismatch removal［J］. IEEE Transactions on Image Processing， 2019， 28（8）： 4045-4059. |
| 50 | YI K M， TRULLS E， ONO Y， et al. Learning to find good correspondences［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 2666-2674. |
| 51 | ZHAO C， CAO Z G， LI C， et al. NM-net： Mining reliable neighbors for robust feature correspondences［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 215-224. |
| 52 | 孙琨， 代文. 基于多尺度损失函数的误匹配剔除方法［J］. 山西大学学报（自然科学版）， 2022， 45（3）： 641-648. |
| SUN K， DAI W. A multi-scale loss function for mismatch removing［J］. Journal of Shanxi University （Natural Science Edition）， 2022， 45（3）： 641-648 （in Chinese）. | |
| 53 | REVAUD J， DE SOUZA C， HUMENBERGER M， et al. R2d2： Reliable and repeatable detector and descriptor［J］. Advances in Neural Information Processing Systems， 2019， 32. |
| 54 | GEORGAKIS G， KARANAM S， WU Z Y， et al. End-to-end learning of keypoint detector and descriptor for pose invariant 3D matching［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 1965-1973. |
| 55 | HUGHES L H， MARCOS D， LOBRY S， et al. A deep learning framework for matching of SAR and optical imagery［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2020， 169： 166-179. |
| 56 | TYSZKIEWICZ M J， FUA P， TRULLS E. DISK： Learning local features with policy gradient［DB/OL］. arXiv preprint： 2006.13566， 2020. |
| 57 | DETONE D， MALISIEWICZ T， RABINOVICH A. SuperPoint： Self-supervised interest point detection and description［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway： IEEE Press， 2018. |
| 58 | DUSMANU M， ROCCO I， PAJDLA T， et al. D2-net： A trainable CNN for joint description and detection of local features［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 8084-8093. |
| 59 | 范大昭， 董杨， 张永生. 卫星影像匹配的深度卷积神经网络方法［J］. 测绘学报， 2018， 47（6）： 844-853. |
| FAN D Z， DONG Y， ZHANG Y S. Satellite image matching method based on deep convolution neural network［J］. Acta Geodaetica et Cartographica Sinica， 2018， 47（6）： 844-853 （in Chinese）. | |
| 60 | ONO Y， TRULLS E， FUA P， et al. LF-net： Learning local features from images［DB/OL］. arXiv preprint： 1805.09662， 2018. |
| 61 | SHEN X L， WANG C， LI X， et al. RF-net： An end-to-end image matching network based on receptive field［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 8124-8132. |
| 62 | 南轲， 齐华， 叶沅鑫. 深度卷积特征表达的多模态遥感影像模板匹配方法［J］. 测绘学报， 2019， 48（6）： 727-736. |
| NAN K， QI H， YE Y X. A template matching method of multimodal remote sensing images based on deep convolutional feature representation［J］. Acta Geodaetica et Cartographica Sinica， 2019， 48（6）： 727-736 （in Chinese）. | |
| 63 | ZHU H， JIAO L C， MA W P， et al. A novel neural network for remote sensing image matching［J］. IEEE Transactions on Neural Networks and Learning Systems， 2019， 30（9）： 2853-2865. |
| 64 | DU W L， ZHOU Y， ZHAO J Q， et al. K-means clustering guided generative adversarial networks for SAR-optical image matching［J］. IEEE Access， 2020， 8： 217554-217572. |
| 65 | SUN J M， SHEN Z H， WANG Y A， et al. LoFTR： Detector-free local feature matching with transformers［C］∥ 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 8918-8927. |
| 66 | CHRISTIANSEN P H， KRAGH M F， BRODSKIY Y， et al. UnsuperPoint： End-to-end unsupervised interest point detector and descriptor［DB/OL］. arXiv preprint： 1907.04011， 2019. |
| 67 | HAN X F， LEUNG T， JIA Y Q， et al. MatchNet： Unifying feature and metric learning for patch-based matching［C］∥ 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2015： 3279-3286. |
| 68 | 黄柏圣. 基于端到端网络机制跨域稀疏SAR与光学图像精准匹配方法［J］. 现代雷达， 2022， 44（12）： 106-111. |
| HUANG B S. Accurate matching method of cross-domain sparse SAR and optical image based on end-to-end deep learning framework［J］. Modern Radar， 2022， 44（12）： 106-111 （in Chinese）. | |
| 69 | 刘磊， 李元祥， 倪润生， 等. 基于卷积与图神经网络的合成孔径雷达与可见光图像配准［J］. 光学学报， 2022， 42（24）： 110-120. |
| LIU L， LI Y X， NI R S， et al. Synthetic aperture radar and optical images registration based on convolutional and graph neural networks［J］. Acta Optica Sinica， 2022， 42（24）： 110-120 （in Chinese）. | |
| 70 | NIKOLAEV A V， DE JONG L， WEIJERS G， et al. Quantitative evaluation of an automated cone-based breast ultrasound scanner for MRI–3D US image fusion［J］. IEEE Transactions on Medical Imaging， 2021， 40（4）： 1229-1239. |
| 71 | MO Y， KANG X D， DUAN P H， et al. A robust UAV hyperspectral image stitching method based on deep feature matching［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 1-14. |
| 72 | XIE Y L， LIU M， ZHOU S R， et al. A deep local patch matching network for cell tracking in microscopy image sequences without registration［J］. IEEE/ACM Transactions on Computational Biology and Bioinformatics， 2022， 19（6）： 3202-3212. |
/
| 〈 |
|
〉 |
CJA