基于MatchNet和多点匹配约束的可见光-SAR图像匹配

doi:10.7527/S1000-6893.2023.29162

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于MatchNet和多点匹配约束的可见光-SAR图像匹配

叶熠彬, 滕锡超, 于起峰, 李璋()

国防科技大学空天科学学院，长沙 410073

收稿日期:2023-06-13 修回日期:2023-07-17 接受日期:2023-08-11 出版日期:2024-05-25 发布日期:2023-09-01
通讯作者: 李璋 E-mail:zhangli_nudt@163.com
基金资助:
国家自然科学基金(61801491)

Optical⁃SAR image matching based on MatchNet and multi⁃point matching constraint

Yibin YE, Xichao TENG, Qifeng YU, Zhang LI()

College of Aerospace Science and Engineering，National University of Defence Technology，Changsha 410073，China

Received:2023-06-13 Revised:2023-07-17 Accepted:2023-08-11 Online:2024-05-25 Published:2023-09-01
Contact: Zhang LI E-mail:zhangli_nudt@163.com
Supported by:
National Natural Science Foundation of China(61801491)

摘要/Abstract

摘要：

基于可见光和SAR成像的异源图像匹配是实现复杂场景下飞行器视觉导航的关键。由于成像机理的差异，可见光-SAR图像匹配需要面对成像几何特性差异、非线性辐射失真以及噪声干扰等挑战。近年来，基于深度学习的图像匹配方法表现出比传统方法更优的场景适应性，但现有深度学习方法仍未完全解决上述几个挑战，还无法完全满足视觉导航中的高精度匹配需求。基于经典的MatchNet匹配框架，针对其单个模板匹配精度不足的问题，提出一种多点匹配约束的匹配方法（MMC-MatchNet）。方法主要分为2步：第1步生成子模板并利用MatchNet进行匹配，第2步基于多点几何约束剔除误匹配子模板并优化匹配结果。该方法在保持MatchNet输入尺寸不变的同时提升了网络对多尺寸可见光-SAR图像的匹配精度。此外，还提出了一种多级数据集构建方法来训练MatchNet。与随机采样构建负样本的方式相比，所提方法更关注于匹配任务中的困难样本，是一种适用于图像匹配的数据增强手段。对MMC-MatchNet在2种可见光-SAR图像匹配数据上进行了测试，取得了比NCC、NMI、HOPC以及单模板MatchNet方法更好的匹配结果，在与HOPC匹配精度相似的前提下，MMC-MatchNet可大幅提高匹配正确率（CMR）。同时，多点匹配约束和多级数据构建方法还适用于其他基于Patch的图像匹配模型。

关键词: 图像匹配, 模板匹配, 可见光图像, SAR图像, MatchNet

Abstract:

Multimodal image matching between optical and SAR images is critical for visual navigation of the aircraft flying over complex areas. Due to different imaging mechanisms， accurate optical-SAR image matching faces several challenges， such as imaging geometry differences between optical and SAR， nonlinear radiation distortion of SAR， and noise interference. Although deep learning-based image matching methods have shown better adaptability than traditional methods， they still cannot fully solve the above-mentioned challenges and their matching accuracy may be not enough for visual navigation tasks. This paper proposes a new image matching method called Multi-point Matching Constraint MatchNet （MMC-MatchNet） based on the typical MatchNet framework， so as to improve the matching accuracy of the single template matching using MatchNet. The method consists of two main steps： sub-templates sampling and matching using MatchNet， and mismatched sub-templates removal based on multi-point geometric constraint. The original input image size of the MatchNet is maintained， while the matching accuracy for optical-SAR image matching is improved. This paper also proposes a multi-level training dataset generation method to train the MMC-MatchNet. Compared to the random sampling method， our method focuses on the difficult samples in image matching， and can be seen as a special data augmentation method for image matching. MMC-MatchNet is tested on two multi-modal image matching datasets， outperforming NCC， NMI， HOPC and the single-template MatchNet. With similar matching accuracy to that of HOPC， MMC-MatchNet can improve the Correctly Matching Rate （CMR）. The method based on multi-point matching constraint and multi-level dataset generation can be easily extend to other patch-based image matching models.

Key words: image matching, template matching, optical image, SAR image, MatchNet

中图分类号:

叶熠彬, 滕锡超, 于起峰, 李璋. 基于MatchNet和多点匹配约束的可见光-SAR图像匹配[J]. 航空学报, 2024, 45(10): 329162-329162.

Yibin YE, Xichao TENG, Qifeng YU, Zhang LI. Optical⁃SAR image matching based on MatchNet and multi⁃point matching constraint[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(10): 329162-329162.

图/表 26

图 1

表 1

图 2

图 3

图 4

图 5

图6

图 7

图 8

图 9

表 2

MMC⁃MatchNet与其他算法的比较

方法	$C M R 10$ /%	$M E 10$
NMI	40.0	2.80
NCC	44.6	3.54
HOPC	83.3	1.82
$M a t c h N e t r e s i z e$	74.6	4.43
MMC-MatchNet	92.1	2.15

表 2

图 10

表 3

表 4

图 11

图 12

图 13

表 5

不同误匹配点去除方法对精匹配结果的影响

精匹配方法	$C M R 10$ /%	$M E 10$ /像素	计算时间/（ms·组^-1）
2点向量法	91.5	3.10	104
3点向量法	91.1	2.98	109
4点向量法	91.4	2.83	141
5点向量法	91.5	2.77	521
6点向量法	91.6	2.71	869
7点向量法	91.7	2.64	2 483
8点向量法	91.7	2.58	6 267
9点向量法	91.8	2.54	13 057
10点向量法	91.5	2.50	32 032
中值法	92.1	2.15	111
粗匹配结果	92.1	2.46

表 5

图 14

图 15

图 16

表 6

MMC⁃MatchNet在不同尺寸模板图上的CMR10

模板图尺寸	CMR₁₀/%
模板图尺寸	$124 × 124$	$172 × 172$	$256 × 256$
MMC-MatchNet	92.1	96.7	98.8
HOPC	83.3	91.3	98.5
NMI	40.6	55.7	76.7
NCC	44.6	48.2	57.4

表 6

表 7

Focal⁃Loss对匹配结果的影响

损失函数	交叉熵损失	Focal-Loss
参数		$α t = 0.25, γ = 2$	$α t = 0.25, γ = 4$	$α t = 1, γ = 2$	$α t = 1, γ = 6$
验证集分类精度/%	95.8	95.5	94.7	95.6	94.5
测试集 $C M R 10$ /%	90.3	87.4	84.3	89.4	82.4

表 7

表 8

图 17

表 9

TD对匹配结果的影响

$T D$	$r a t e f$ /%	$r a t e t$ /%
100	0	0
80	2.8	0.7
60	5.7	0.8
40	6.6	3.4
20	7.8	14.2

表 9

参考文献 51

1	刘中杰，曹云峰，庄丽葵，等. 基于控制线方法的机载SAR和可见光图像匹配应用研究［J］. 航空学报， 2013， 34（9）： 2194-2201.
	LIU Z J， CAO Y F， ZHUANG L K， et al. Applied research on airborne SAR and optical image registration based on control line method［J］. Acta Aeronautica et Astronautica Sinica， 2013， 34（9）： 2194-2201 （in Chinese）.
2	赵耀，熊智，田世伟，等. 基于SAR图像匹配结果可信度评价的INS/SAR自适应Kalman滤波算法［J］. 航空学报， 2019， 40（8）： 322850.
	ZHAO Y， XIONG Z， TIAN S W， et al. INS/SAR adaptive Kalman filtering algorithm based on credibility evaluation of SAR image matching results［J］. Acta Aeronautica et Astronautica Sinica， 2019， 40（8）： 322850 （in Chinese）.
3	LU J Z， HU M Q， DONG J， et al. A novel dense descriptor based on structure tensor voting for multi-modal image matching［J］. Chinese Journal of Aeronautics， 2020， 33（9）： 2408-2419.
4	JIANG X Y， MA J Y， XIAO G B， et al. A review of multimodal image matching： Methods and applications［J］. Information Fusion， 2021， 73（C）： 22-71.
5	LI Q， FU B H， DONG Y F. Registration of radar and optical satellite images using multiscale filter technique and information measure［M］∥ IMPERATORE P， RICCIO D， eds. Geoscience and Remote Sensing New Achievements. London： InTech， 2010.
6	HONG T D， SCHOWENGERDT R A. A robust technique for precise registration of radar and optical satellite images［J］. Photogrammetric Engineering & Remote Sensing， 2005， 71（5）： 585-593.
7	PAUL S， PATI U C. A comprehensive review on remote sensing image registration［J］. International Journal of Remote Sensing， 2021， 42（14）： 5400-5436.
8	ZHAO F， HUANG Q M， WEN G. Image matching by normalized cross-correlation［C］∥ 2006 IEEE International Conference on Acoustics Speech and Signal Processing Proceedings. Piscataway： IEEE Press， 2006： Ⅱ.
9	WELLS W M， VIOLA P， ATSUMI H， et al. Multi-modal volume registration by maximization of mutual information［J］. Medical Image Analysis， 1996， 1（1）： 35-51.
10	YE Y X， SHAN J， BRUZZONE L， et al. Robust registration of multimodal remote sensing images based on structural similarity［J］. IEEE Transactions on Geoscience and Remote Sensing， 2017， 55（5）： 2941-2958.
11	SURI S， REINARTZ P. Mutual-information-based registration of TerraSAR-X and ikonos imagery in urban areas［J］. IEEE Transactions on Geoscience and Remote Sensing， 2010， 48（2）： 939-949.
12	YE Y X， SHEN L， HAO M， et al. Robust optical-to-SAR image matching based on shape properties［J］. IEEE Geoscience and Remote Sensing Letters， 2017， 14（4）： 564-568.
13	FAN B， HUO C L， PAN C H， et al. Registration of optical and SAR satellite images by exploring the spatial relationship of the improved SIFT［J］. IEEE Geoscience and Remote Sensing Letters， 2013， 10（4）： 657-661.
14	HUANG L， LI Z. Feature-based image registration using the shape context［J］. International Journal of Remote Sensing， 2010， 31（8）： 2169-2177.
15	XIANG Y M， WANG F， YOU H J. OS-SIFT： A robust SIFT-like algorithm for high-resolution optical-to-SAR image registration in suburban areas［J］. IEEE Transactions on Geoscience and Remote Sensing， 2018， 56（6）： 3078-3090.
16	WANG Y G， YU X D， ZHANG Y， et al. An adaptive SAR and optical images registration approach based on SOI-SIFT［C］∥ IGARSS 2022 - 2022 IEEE International Geoscience and Remote Sensing Symposium. Piscataway： IEEE Press， 2022： 2582-2585.
17	ZHANG X T， WANG Y H， LIU H W. Robust optical and SAR image registration based on OS-SIFT and cascaded sample consensus［J］. IEEE Geoscience and Remote Sensing Letters， 2021， 19： 4011605.
18	FAN J W， YE Y X， LIU G C， et al. Phase congruency order-based local structural feature for SAR and optical image matching［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： 4507105.
19	RAGURAM R， CHUM O， POLLEFEYS M， et al. USAC： A universal framework for random sample consensus［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（8）： 2022-2038.
20	ZHAO M， ZHANG G X， DING M. Heterogeneous self-supervised interest point matching for multi-modal remote sensing image registration［J］. International Journal of Remote Sensing， 2022， 43（3）： 915-931.
21	XIANG D L， XIE Y Z， CHENG J D， et al. Optical and SAR image registration based on feature decoupling network［J］. IEEE Transactions on Geoscience and Remote Sensing， 1858， 60： 5235913.
22	LIPMAN Y， YAGEV S， PORANNE R， et al. Feature matching with bounded distortion［J］. ACM Transactions on Graphics， 2014， 33（3）： 26.
23	MA J Y， ZHAO J， JIANG J J， et al. Locality preserving matching［J］. International Journal of Computer Vision， 2019， 127（5）： 512-531.
24	BIAN J W， LIN W Y， MATSUSHITA Y， et al. GMS： Grid-based motion statistics for fast， ultra-robust feature correspondence［C］∥ 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 2828-2837.
25	VERDIE Y， YI K M， FUA P， et al. TILDE： A temporally invariant learned DEtector［C］∥ 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2015： 5279-5288.
26	ZHANG X， YU F X， KARAMAN S， et al. Learning discriminative and transformation covariant local feature detectors［C］∥ 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 4923-4931.
27	LUO Z X， SHEN T W， ZHOU L， et al. ContextDesc： Local descriptor augmentation with cross-modality context［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2019： 2522-2531.
28	YI K M， TRULLS E， LEPETIT V， et al. LIFT： Learned invariant feature transform［C］∥ European Conference on Computer Vision. Cham： Springer， 2016： 467-483.
29	WANG J， ZHOU F， WEN S L， et al. Deep metric learning with angular loss［C］∥ 2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 2612-2620.
30	HAN X F， LEUNG T， JIA Y Q， et al. MatchNet： Unifying feature and metric learning for patch-based matching［C］∥ 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2015： 3279-3286.
31	ZAGORUYKO S， KOMODAKIS N. Learning to compare image patches via convolutional neural networks［C］∥ 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2015： 4353-4361.
32	MA W P， ZHANG J， WU Y， et al. A novel two-step registration method for remote sensing images based on deep and local features［J］. IEEE Transactions on Geoscience and Remote Sensing， 2019， 57（7）： 4834-4843.
33	HUGHES L H， SCHMITT M， MOU L C， et al. Identifying corresponding patches in SAR and optical images with a pseudo-siamese CNN［J］. IEEE Geoscience and Remote Sensing Letters， 2018， 15（5）： 784-788.
34	HOFFMANN S， BRUST C A， SHADAYDEH M， et al. Registration of high resolution SAR and optical satellite imagery using fully convolutional networks［C］∥ IGARSS 2019-2019 IEEE International Geoscience and Remote Sensing Symposium. Piscataway： IEEE Press， 2019： 5152-5155.
35	HUGHES L H， MARCOS D， LOBRY S， et al. A deep learning framework for matching of SAR and optical imagery［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2020， 169： 166-179.
36	QUAN D， WANG S， LIANG X F， et al. Deep generative matching network for optical and SAR image registration［C］∥ IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium. Piscataway： IEEE Press， 2018： 6215-6218.
37	MERKLE N， AUER S， MÜLLER R， et al. Exploring the potential of conditional adversarial networks for optical and SAR image matching［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2018， 11（6）： 1811-1820.
38	BALNTAS V， RIBA E， PONSA D， et al. Learning local feature descriptors with triplets and shallow convolutional neural networks［C］∥ Proceedings of the British Machine Vision Conference 2016， 2016.
39	MISHCHUK A， MISHKIN D， RADENOVIĆ F， et al. Working hard to know your neighbor’s margins： Local descriptor learning loss［C］∥ Proceedings of the 31st International Conference on Neural Information Processing Systems. New York： ACM， 2017： 4829–4840.
40	TIAN Y R， FAN B， WU F C. L2-net： Deep learning of discriminative patch descriptor in euclidean space［C］∥ 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 6128-6136.
41	HE H Q， CHEN M， CHEN T， et al. Matching of remote sensing images with complex background variations via Siamese convolutional neural network［J］. Remote Sensing， 2018， 10（3）： 355.
42	HE H Q， CHEN M， CHEN T， et al. Learning to match multitemporal optical satellite images using multi-support-patches Siamese networks［J］. Remote Sensing Letters， 2019， 10（6）： 516-525.
43	LIAO Y， DI Y D， ZHOU H， et al. Feature matching and position matching between optical and SAR with local deep feature descriptor［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2021， 15： 448-462.
44	QUAN D， WEI H Y， WANG S， et al. Self-distillation feature learning network for optical and SAR image registration［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 4706718.
45	ZHU R J， YU D W， JI S P， et al. Matching RGB and infrared remote sensing images with densely-connected convolutional neural networks［J］. Remote Sensing， 2019， 11（23）： 2836.
46	MA J Y， JIANG X Y， FAN A X， et al. Image matching from handcrafted to deep features： A survey［J］. International Journal of Computer Vision， 2021， 129（1）： 23-79.
47	ZHANG H， LEI L， NI W P， et al. Explore better network framework for high-resolution optical and SAR image matching［J］. IEEE Transactions on Geoscience and Remote Sensing， 2021， 60： 4704418.
48	YE Y X， TANG T F， ZHU B， et al. A multiscale framework with unsupervised learning for remote sensing image registration［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 5622215.
49	FANG Y Y， HU J， DU C， et al. SAR-optical image matching by integrating Siamese U-net with FFT correlation［J］. IEEE Geoscience and Remote Sensing Letters， 2021， 19： 4016505.
50	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［C］∥ 2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 2999-3007.
51	ZHENG L X， XIAO G B， SHI Z W， et al. MSA-net： Establishing reliable correspondences by multiscale attention network［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society， 2022， 31： 4598-4608.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

模块名称	操作类型	输出维度	核尺寸	步长
Conv0	卷积	64×64×24	7×7	1
Pool0	池化	32×32×24	3×3	2
Conv1	卷积	32×32×64	5×5	1
Pool1	池化	16×16×64	3×3	2
Conv2	卷积	16×16×96	3×3	1
Pool3	卷积	16×16×96	3×3	1
Conv4	卷积	16×16×64	3×3	1
Pool4	池化	8×8×96	3×3	2
Bottleneck	全连接	可调整
FC1	全连接	可调整
FC2	全连接	可调整
FC3	全连接	2

编号	场景	地理坐标	SAR图像	可见光图像
1	城市	18°24'34″N 109°30'26″E	来源：TerraSAR 时间：2014/11/23 地面分辨率：5 m 尺寸：200×200	来源：Google Earth 时间：2014/12/31 地面分辨率：5 m 尺寸：200×200
2	河流	18°15'87″N 109°30'40″E
3	山地	18°39'43″N 109°26'49″E
4	港口	18°12'40″N 109°29'51″E
5	岛屿	18°18'55″N 109°25'31″E
6	机场	18°18'18″N 109°24'36″E
7	平原	18°25'21″N 109°26'30″E
8	戈壁1	18°24'34″N 109°30'26″E	来源：GF3 时间：2020/12/03 地面分辨率：5 m 尺寸：200×200	来源：Google Earth 时间：2018/12/31 地面分辨率：5 m 尺寸：200×200
9	戈壁2	18°15'87″N 109°30'40″E	来源：GF3 时间：2020/12/03 地面分辨率：5 m 尺寸：200×200	来源：Google Earth 时间：2018/12/31 地面分辨率：5 m 尺寸：200×200

方法		RANSAC	多点匹配约束方法
联系	算法目的	均是从已有的候选点对中剔除误匹配对，进而计算待匹配图像间的转换模型
联系	误差计算	当采用相同的转换模型时，2种方法的匹配误差计算公式相似
区别	应用背景	剔除特征匹配的误匹配对	剔除基于Patch的小模板匹配的误匹配对
	匹配候选点对	通过特征点提取和匹配得到候选点对，候选点数量及分布随机	通过分块匹配的方式得到候选点对，候选点数量及分布固定
	变换模型	单应性矩阵，仿射变换矩阵以及RST等	平移向量
	匹配内点生成方式	随机抽取m个点作为初始内点，基于变换模型迭代更新内点个数	内点数n固定，选择平移误差最小组合为内点
	参数设置	初始内点个数，误差阈值，最大迭代次数等	分块数量K和内点个数n

[1]	刘海桥, 刘萌, 龚子超, 董晶. 基于深度学习的图像匹配方法综述[J]. 航空学报, 2024, 45(3): 28796-028796.
[2]	孙秀一, 胡绍海, 马晓乐. 基于无监督深度学习的红外与可见光图像融合[J]. 航空学报, 2022, 43(S1): 726938-726938.
[3]	苏航, 徐从安, 姚力波, 李健伟, 凌青, 高龙. 一种轻量化SAR图像舰船目标斜框检测方法[J]. 航空学报, 2022, 43(S1): 726922-726922.
[4]	王子玲, 熊振宇, 顾祥岐. 可见光与SAR多源遥感图像关联学习算法[J]. 航空学报, 2022, 43(S1): 727239-727239.
[5]	刘芳, 杨安喆, 吴志威. 基于自适应Siamese网络的无人机目标跟踪算法[J]. 航空学报, 2020, 41(1): 323423-323423.
[6]	赵耀, 熊智, 田世伟, 刘建业, 崔雨晨. 基于SAR图像匹配结果可信度评价的INS/SAR自适应Kalman滤波算法[J]. 航空学报, 2019, 40(8): 322850-322850.
[7]	曾庆化, 潘鹏举, 刘建业, 王云舒, 刘昇. 惯性信息辅助的大视角目标快速精确定位[J]. 航空学报, 2017, 38(8): 321171-321171.
[8]	王聪, 王海鹏, 熊伟, 何友. 基于相位相关的部分可辨编队精细起始算法[J]. 航空学报, 2017, 38(4): 320299-320299.
[9]	田玉刚, 杨贵, 吴蔚. 高分影像辅助下的航空高光谱严密几何检校方法[J]. 航空学报, 2015, 36(4): 1250-1258.
[10]	刘中杰, 曹云峰, 庄丽葵, 丁萌. 基于控制线方法的机载SAR和可见光图像匹配应用研究[J]. 航空学报, 2013, 34(9): 2194-2201.
[11]	于合龙, 苏恒强, 汪岩, 冯雪. SUSAN角点检测和匹配算法在高温变形测量中的应用[J]. 航空学报, 2013, 34(5): 1064-1072.
[12]	王保丰;唐歌实;李广云;邢帅. 一种月球车视觉系统的匹配算法[J]. 航空学报, 2008, 29(1): 117-122.
[13]	刘建业;冷雪飞;熊智;李明星. 惯性组合导航系统的实时多级景象匹配算法[J]. 航空学报, 2007, 28(6): 1401-1407.
[14]	胡正磊;孙进平;袁运能;毛士艺. 利用α稳定分布的小波域SAR图像降斑算法[J]. 航空学报, 2006, 27(5): 928-933.
[15]	孙仲康. 图像匹配技术在航空电子系统中的应用[J]. 航空学报, 1984, 5(2): 118-131.

基于MatchNet和多点匹配约束的可见光-SAR图像匹配

Optical⁃SAR image matching based on MatchNet and multi⁃point matching constraint

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 26

参考文献 51

相关文章 15

编辑推荐

Metrics

本文评价