基于图像翻译的飞行器红外/卫星异源快速匹配定位方法

doi:10.7527/S1000-6893.2025.31961

干扰环境下无人机多源感知专栏

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于图像翻译的飞行器红外/卫星异源快速匹配定位方法

唐彬, 杨小冈(), 卢瑞涛, 张震宇, 宿爽

火箭军工程大学导弹工程学院，西安 710025

收稿日期:2025-03-11 修回日期:2025-03-26 接受日期:2025-05-22 出版日期:2025-06-10 发布日期:2025-06-06
通讯作者: 杨小冈 E-mail:doctoryyxg@163.com
基金资助:
陕西省重点研发计划重点项目(2024CY2-GJHX-42)

Aircraft infrared/satellite heterogenous fast matching localization method based on image translation

Bin TANG, Xiaogang YANG(), Ruitao LU, Zhenyu ZHANG, Shuang SU

College of Missile Engineering，Rocket Force University of Engineering，Xi’an 710025，China

Received:2025-03-11 Revised:2025-03-26 Accepted:2025-05-22 Online:2025-06-10 Published:2025-06-06
Contact: Xiaogang YANG E-mail:doctoryyxg@163.com
Supported by:
Key Research and Development Program of Shaanxi Province(2024CY2-GJHX-42)

摘要/Abstract

摘要：

在全球导航卫星系统拒止环境下，飞行器视觉导航面临夜间异源图像差异显著和大视场旋转导致特征匹配失效的双重挑战。为此，提出了一种基于图像翻译飞行器红外/卫星异源快速匹配定位方法，旨在通过图像翻译与预旋转匹配策略提升飞行器夜间匹配定位的性能。首先，构建了HC_CycleGAN模型，通过结合Huber损失与空间注意力机制实现卫星影像至红外域的跨域转换，解决异源图像的域对齐问题。其次，设计了FastPoint快速特征点提取网络，基于设计的深度可变卷积层，结合残差学习机制构建了R-DVM计算单元，以提高模型计算效率及训练稳定性。最后提出基于L-LightGlue动态自适应匹配算法的旋转匹配方法，结合几何不变预旋转匹配策略进行旋转匹配校正，利用图像间变换关系确定飞行器在卫星图像中的位置，完成视觉定位。实验结果表明，相比于其他匹配定位方法，所提方法在提高匹配效率的同时，能够显著提升大视场旋转条件下的红外/卫星异源图像匹配定位的精度。

关键词: 异源图像, 图像翻译, 特征提取, 旋转匹配, 飞行器定位

Abstract:

In Global Navigation Satellite System-denied environments， aircraft visual navigation faces dual challenges posed by significant nighttime heterogenous image discrepancies and feature matching failures caused by large field-of-view rotations. To address these issues， this paper proposes an infrared/satellite cross-domain fast matching localization method for aircraft based on image translation， aiming to enhance nighttime matching and localization performance through image translation and rotational matching strategies. First， we construct HC_CycleGAN， a cross-domain translation model that leverages the integration of Huber loss and spatial attention mechanisms to align satellite and infrared domains. Second， we develop FastPoint， a rapid feature extraction network that integrates a deep variable convolutional layer with residual learning mechanisms to establish an R-DVM computational unit， enhancing both computational efficiency and training stability. Finally， a rotational matching method based on the L-LightGlue dynamic adaptive matching algorithm is proposed. This method combines a geometry-invariant pre-rotation matching strategy for rotational matching correction to determine the aircraft’s position in satellite image based on the inter-image transformation relationships， thereby accomplishing visual localization. Experimental results demonstrate that， compared to existing matching and localization methods， the proposed approach not only improves matching efficiency but also significantly reduces heterogenous image matching errors under rotational conditions.

Key words: heterogenous images, image translation, feature extraction, rotation matching, aircraft localization

中图分类号:

V249

唐彬, 杨小冈, 卢瑞涛, 张震宇, 宿爽. 基于图像翻译的飞行器红外/卫星异源快速匹配定位方法[J]. 航空学报, 2025, 46(23): 631961.

Bin TANG, Xiaogang YANG, Ruitao LU, Zhenyu ZHANG, Shuang SU. Aircraft infrared/satellite heterogenous fast matching localization method based on image translation[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(23): 631961.

图/表 23

图 1

表1

图 2

图 3

图 4

图 5

图 6

图 7

图 8

图 9

表2

表3

图 10

图11

表4

图 12

表5

卫星-红外图像匹配算法性能对比

方法	风格迁移模型	$N a l l$	$N C M P$	MA/%	AME/pixel	平均匹配时间/s
SIFT	原始卫星图像	97	1	1.031	18.000	0.078
	CycleGAN	43	2	4.651	20.638
	HC_CycleGAN	40	2	5	18.718
SURF	原始卫星图像	101	1	0.990	24.889	0.063
	CycleGAN	90	2	2.222	20.929
	HC_CycleGAN	83	2	2.410	16.993
ORB	原始卫星图像	271	4	1.476	11.963	0.071
	CycleGAN	204	3	1.471	21.685
	HC_CycleGAN	160	2	1.250	8.237
D2-Net	原始卫星图像	47	16	34.043	17.796	0.440
	CycleGAN	21	10	47.619	15.919
	HC_CycleGAN	28	10	35.714	12.190
LoFTR	原始卫星图像	215	93	43.256	8.882	0.101
	CycleGAN	185	41	22.162	8.935
	HC_CycleGAN	177	53	29.944	11.431
SuperGlue	原始卫星图像	71	64	90.141	5.523	0.059
	CycleGAN	61	60	98.361	5.378
	HC_CycleGAN	49	42	93.878	5.207
LightGlue	原始卫星图像	79	7	8.861	7.923	0.042
	CycleGAN	87	4	4.598	9.103
	HC_CycleGAN	86	4	4.651	5.851
快速特征点匹配	原始卫星图像	123	114	92.683	6.463	0.053
	CycleGAN	111	95	85.586	5.338
	HC_CycleGAN	102	81	79.412	3.711

表5

表6

VEDAI数据集图像匹配算法性能对比

方法	风格迁移模型	$N a l l$	$N C M P$	MA/%	AME/pixel	平均匹配时间/s
SIFT	原始光学图像	564	352	62.411	13.138	0.268 9
	CycleGAN	282	148	52.482	14.249
	HC_CycleGAN	548	336	63.314	13.072
SURF	原始光学图像	287	168	58.537	18.088	0.231 6
	CycleGAN	260	103	39.615	18.614
	HC_CycleGAN	280	165	58.929	17.987
ORB	原始光学图像	61	35	57.377	17.655	0.069 0
	CycleGAN	52	23	44.231	18.211
	HC_CycleGAN	64	39	60.938	17.057
D2-Net	原始光学图像	183	8	4.372	19.323	0.626 0
	CycleGAN	208	9	4.327	19.307
	HC_CycleGAN	185	8	4.424	18.477
LoFTR	原始光学图像	5 122	4 606	89.926	6.073	1.049 6
	CycleGAN	4 940	4 351	88.077	6.029
	HC_CycleGAN	5 597	5 094	91.013	5.527
SuperGlue	原始光学图像	435	376	86.437	7.695	0.170 9
	CycleGAN	411	346	84.185	7.082
	HC_CycleGAN	431	372	86.511	6.653
LightGlue	原始光学图像	348	269	77.299	8.441	0.146 0
	CycleGAN	378	294	77.778	7.460
	HC_CycleGAN	347	268	78.233	7.360
快速特征点匹配	原始光学图像	477	394	82.600	5.783	0.152 4
	CycleGAN	405	336	82.963	5.575
	HC_CycleGAN	412	357	86.650	5.013

表6

表7

图 13

图 14

表8

图 15

参考文献 31

[1]	杨小冈，陈世伟，席建祥. 飞行器异源景像匹配制导技术［M］. 北京：科学出版社， 2016：1-20.
	YANG X G， CHEN S W， XI J X. Matching guidance technology of aircraft heterogeneous scenes［M］. Beijing： Science Press， 2016 （in Chinese）： 1-20.
[2]	LOWE D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.
[3]	LEUTENEGGER S， CHLI M， SIEGWART R Y. BRISK： Binary robust invariant scalable keypoints［C］∥ 2011 International Conference on Computer Vision. Piscataway： IEEE Press， 2011： 2548-2555.
[4]	RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF［C］∥ 2011 International Conference on Computer Vision. Piscataway： IEEE Press， 2011： 2564-2571.
[5]	冯旭刚，阮善会，王正兵，等. 基于局部和全局特征的电力设备红外和可见光图像匹配方法［J］. 电工技术学报， 2025， 40（7）： 2236-2246， 2305.
	FENG X G， RUAN S H， WANG Z B， et al. Infrared and visible image matching method for power equipment based on local and global features［J］. Transactions of China Electrotechnical Society， 2025， 40（7）： 2236-2246， 2305 （in Chinese）.
[6]	ONO Y， TRULLS E， FUA P， et al. LF-Net： Learning local features from images［C］∥Advances in Neural Informa-tion Processing Systems. Red Hook： Curran Associates， 2018： 1-11.
[7]	REVAUD J， WEINZAEPFEL P， DE SOUZA C， et al. R2D2： Repeatable and Reliable Detector and Descript-or［C］∥33rd Conference on Neural Information Process-ing Systems （NeurIPS）. Red Hook： Curran Associates， 2019： 1-11.
[8]	SINGH PARIHAR U， GUJARATHI A， MEHTA K， et al. RoRD： Rotation-robust descriptors and orthographic views for local feature matching［C］∥ 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Piscataway： IEEE Press， 2021： 1593-1600.
[9]	LUO Z X， ZHOU L， BAI X Y， et al. ASLFeat： Learning local features of accurate shape and localization［C］∥ 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 6588-6597.
[10]	FAN B， ZHOU J J， FENG W S， et al. Learning semantic-aware local features for long term visual localization［J］. IEEE Transactions on Image Processing， 2022， 31： 4842-4855.
[11]	SHEN X L， WANG C， LI X， et al. RF-net： An end-to-end image matching network based on receptive field［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2019： 8124-8132.
[12]	BHOWMIK A， GUMHOLD S， ROTHER C， et al. Reinforced feature points： Optimizing feature detection and description for a high-level task［C］∥ 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 4947-4956.
[13]	BARROSO-LAGUNA A， VERDIE Y， BUSAM B， et al. HDD-net： Hybrid detector descriptor with mutual interactive learning［C］∥Computer Vision-ACCV 2020. Berlin： Springer， 2021： 500-516.
[14]	ZHANG Y Y， WANG J G， XU S B， et al. MLIFeat： Multi-level information fusion based deep local features［C］∥Computer Vision-ACCV 2020. Berlin： Springer， 2021： 403-419.
[15]	SUWANWIMOLKUL S， KOMORITA S， TASAKA K. Learning of low-level feature keypoints for accurate and robust detection［C］∥ 2021 IEEE Winter Conference on Applications of Computer Vision （WACV）. Piscataway： IEEE Press， 2021： 2261-2270.
[16]	WANG X J， LIU Z Y， HU Y， et al. FeatureBooster： Boosting feature descriptors with a lightweight neural network［C］∥ 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 7630-7639.
[17]	XUE F， BUDVYTIS I， CIPOLLA R. SFD2： Semantic-guided feature detection and description［C］∥ 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 5206-5216.
[18]	DETONE D， MALISIEWICZ T， RABINOVICH A. SuperPoint： Self-supervised interest point detection and description［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway： IEEE Press， 2018： 337-33712.
[19]	SARLIN P E， DETONE D， MALISIEWICZ T， et al. SuperGlue： Learning feature matching with graph neural networks［C］∥ 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 4937-4946.
[20]	EFE U， INCE K G， AYDIN ALATAN A. DFM： A performance baseline for deep feature matching［C］∥ 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway： IEEE Press， 2021： 4279-4288.
[21]	ZHOU Q J， SATTLER T， LEAL-TAIXÉ L. Patch2Pix： Epipolar-guided pixel-level correspondences［C］∥ 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 4667-4676.
[22]	HUANG D H， CHEN Y， LIU Y， et al. Adaptive assignment for geometry aware local feature matching［C］∥ 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 5425-5434.
[23]	DUSMANU M， ROCCO I， PAJDLA T， et al. D2-net： A trainable CNN for joint description and detection of local features［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2019： 8084-8093.
[24]	JIANG W， TRULLS E， HOSANG J， et al. COTR： Correspondence transformer for matching across images［C］∥ 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2021： 6187-6197.
[25]	TUZCUOĞLU Ö， KÖKSAL A， SOFU B， et al. XoFTR： Cross-modal feature matching transformer［C］∥ 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway： IEEE Press， 2024： 4275-4286.
[26]	叶熠彬，滕锡超，于起峰，等. 基于MatchNet和多点匹配约束的可见光-SAR图像匹配［J］. 航空学报， 2024， 45（10）： 329162.
	YE Y B， TENG X C， YU Q F， et al. Optical-SAR image matching based on MatchNet and multi-point matching constraint［J］. Acta Aeronautica et Astronautica Sinica， 2024， 45（10）： 329162 （in Chinese）.
[27]	GATYS L A， ECKER A S， BETHGE M. Image style transfer using convolutional neural networks［C］∥ 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2016： 2414-2423.
[28]	ZHAO J W， YANG D F， LI Y F， et al. Intelligent matching method for heterogeneous remote sensing images based on style transfer［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2022， 15： 6723-6731.
[29]	ZHU J Y， PARK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks［C］∥ 2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 2242-2251.
[30]	李清格，杨小冈，卢瑞涛，等. 基于GCI-CycleGAN风格迁移的跨模态地理定位方法［J］. 红外与激光工程， 2023， 52（7）： 319-331.
	LI Q G， YANG X G， LU R T， et al. Cross-modal geo-localization method based on GCI-CycleGAN style translation［J］. Infrared and Laser Engineering， 2023， 52（7）： 319-331 （in Chinese）.
[31]	李清格，杨小冈，卢瑞涛，等. 基于红外影像层次旋转匹配的飞行器定位方法［J］. 红外与激光工程， 2024， 53（5）： 20240086.
	LI Q G， YANG X G， LU R T， et al. Aircraft localization method based on hierarchical rotation matching of infrared images［J］. Infrared and Laser Engineering， 2024， 53（5）： 20240086 （in Chinese）.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

方法类型	核心原理	代表算法	优点	局限性
基于区域的匹配定位	通过相似性度量匹配图像区域，估计全局几何变换	归一化互相关、均方误差和互信息等	算法直观，无需训练数据，结构信息鲁棒性好	对光照和域差异敏感，结构方法计算复杂，多域适应性差
基于特征的匹配定位	提取图像中的点、线、区域等显著几何特征进行匹配	SIFT、SURF、ORB等	精度高，特征具有几何意义，易于结合几何约束（如RANSAC）	多域匹配误差大，易受遮挡、光照干扰，单一特征存在适应性不足
基于深度学习的直接匹配定位	通过Transformer或CNN 端到端地学习图像匹配关系	SuperPoint、Super-Glue、LoFTR等	可学习跨域特征，自动提取语义结构，对非线性变化适应强	依赖训练数据，对小目标/低纹理区域仍不稳定，计算量大
基于深度学习的间接匹配定位	特征映射或图像域转换，减少域差异	孪生网络、对比学习、风格迁移等	提升跨域适应性，可用于红外-可见光等场景	特征映射效果依赖模型设计，域转换几何一致性不佳

图像类别	SSIM	PSNR	LPIPS
卫星图像	0.170	10.121	0.744
CycleGAN IRs	0.258	12.977	0.612
HC_CycleGAN IRs	0.281	13.145	0.535

图像类别	SSIM	PSNR	LPIPS
光学遥感图像	0.878	16.585	0.188
CycleGAN IRs	0.887	26.090	0.139
HC_CycleGAN IRs	0.893	28.851	0.141

方法	卫星/光学图像	CycleGAN 生成红外图像	HC_CycleGAN 生成红外图像	真实红外图像
SIFT	2 556	1 436	1 037	1 157
SURF	2 292	2 110	1 998	1 837
ORB	1 956	1 867	1 732	427
SuperPoint	2 132	2 118	1 866	1 448
FastPoint	2 942	2 453	2 377	2 485

实验组	DVConv	残差	FLOPs/10⁹	MA/%	平均匹配时间/s
1			4.294	79.581	0.173
2		√	4.294	80.751	0.175
3	√		1.585	72.826	0.150
4	√	√	1.585	86.650	0.152

基于图像翻译的飞行器红外/卫星异源快速匹配定位方法

Aircraft infrared/satellite heterogenous fast matching localization method based on image translation

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 23

参考文献 31

相关文章 15

编辑推荐

Metrics

本文评价

图像翻译模型	SIFT/m	SURF/m	ORB/m	D2-Net/m	LoFTR/m	SuperGlue/m	LightGlue/m	快速特征点匹配/m
卫星	62.11	12.52	59.59	24.68	2.70	1.07	13.24	1.69
CycleGAN	34.22	64.54	29.74	58.57	0.68	0.88	32.76	0.86
HC_CycleGAN	33.11	33.08	32.20	42.28	0.92	0.71	24.96	0.64

[1]	赵辰豪, 吴德伟, 何晶, 吴倩. 一种无人机视觉位姿估计的语义特征匹配算法[J]. 航空学报, 2025, 46(2): 330406-330406.
[2]	金栢成, 田阔, 黄蕾. 曲面加筋结构拓扑优化结果参数化重构方法[J]. 航空学报, 2024, 45(24): 630586-630586.
[3]	褚昭晨, 宋韬, 金忍, 林德福. 基于视觉图像的空对空多无人机目标跟踪[J]. 航空学报, 2024, 45(14): 629379-629379.
[4]	张百川, 毕文豪, 张安, 毛泽铭, 杨咪. 基于Transformer模型的空战飞行器轨迹预测误差补偿方法[J]. 航空学报, 2023, 44(9): 327413-327413.
[5]	王金瑞, 季珊珊, 张宗振, 初振云, 韩宝坤, 鲍怀谦. 并行稀疏滤波在轴承声信号下的故障诊断[J]. 航空学报, 2023, 44(4): 426887-426887.
[6]	韩淞宇, 邵海东, 姜洪开, 张笑阳. 基于提升卷积神经网络的航空发动机高速轴承智能故障诊断[J]. 航空学报, 2022, 43(9): 625479-625479.
[7]	杨特, 杨智春, 梁舒雅, 康在飞, 贾有. 平稳随机载荷的信号特征提取与深度神经网络识别[J]. 航空学报, 2022, 43(9): 225952-225952.
[8]	战庆亮, 白春锦, 张宁, 葛耀君. 基于时程卷积自编码的机翼绕流特征识别方法[J]. 航空学报, 2022, 43(11): 526531-526531.
[9]	陈呈, 赵丹, 王岳青, 邓亮, 杨超, 苏铖宇, 王昉. NNW-TopViz流场可视分析系统[J]. 航空学报, 2021, 42(9): 625747-625747.
[10]	王怡星, 韩仁坤, 刘子扬, 张扬, 陈刚. 流体力学深度学习建模技术研究进展[J]. 航空学报, 2021, 42(4): 524779-524779.
[11]	张伟伟, 寇家庆, 刘溢浪. 智能赋能流体力学展望[J]. 航空学报, 2021, 42(4): 524689-524689.
[12]	张凯, 王凯迪, 杨曦, 李少毅, 王晓田. 基于DNET的空中红外目标抗干扰识别算法[J]. 航空学报, 2021, 42(2): 324223-324223.
[13]	万鹏, 李迎光, 刘长青, 华家玘. 基于域对抗门控网络的变工况刀具磨损精确预测方法[J]. 航空学报, 2021, 42(10): 524879-524879.
[14]	李靖卿, 冯存前, 孙宏伟, 贺思三. 基于混合体制雷达网的弹道目标微特征及外形参数提取[J]. 航空学报, 2016, 37(6): 1963-1973.
[15]	申浩, 李书晓, 申意萍, 朱承飞, 常红星. 航拍视频帧间快速配准算法[J]. 航空学报, 2013, 34(6): 1405-1413.