基于地貌类别信息指导的SAR图像仿真方法

doi:10.7527/S1000-6893.2024.31003

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于地貌类别信息指导的SAR图像仿真方法

孟令捷¹, 李红光²(), 李新军²

^1.北京航空航天大学电子信息工程学院，北京 100191
^2.北京航空航天大学无人系统研究院，北京 100191

收稿日期:2024-07-29 修回日期:2024-09-07 接受日期:2024-10-09 出版日期:2024-11-21 发布日期:2024-10-29
通讯作者: 李红光 E-mail:lihongguang@buaa.edu.cn
基金资助:
国家自然科学基金(62076019);国家重点研发计划(2022YFB3904303)

SAR image simulation method guided by geomorphic category information

Lingjie MENG¹, Hongguang LI²(), Xinjun LI²

^1.School of Electronic Information Engineering，Beihang University，Beijing 100191，China
^2.Institute of Unmanned System，Beihang University，Beijing 100191，China

Received:2024-07-29 Revised:2024-09-07 Accepted:2024-10-09 Online:2024-11-21 Published:2024-10-29
Contact: Hongguang LI E-mail:lihongguang@buaa.edu.cn
Supported by:
National Natural Science Foundation of China(62076019);National Key Research and Development Program of China(2022YFB3904303)

摘要/Abstract

摘要：

深度学习SAR图像仿真方法一般没有考虑SAR图像不同地貌类别特征差异，导致仿真图像地貌区分失真。针对这一情况，提出一种地貌类别信息指导的可见光到SAR图像转换算法。算法设计了地貌类别提取分支，使用注意力机制，从多个维度采集地貌类别信息，指导SAR图像仿真。设计了图像内容提取分支，使用对比学习，增强网络对可见光和SAR图像共有的内容信息的特征提取能力。设计了图像生成模块，在地貌类别信息的指导下，将内容信息转化为SAR图像，使生成的SAR图像具有对应地貌类别的特征，并使用路径正则化细分可见光到SAR图像的完整转换过程，降低实现难度。建立了具有多种不同地貌的可见光和SAR图像配对数据集，通过实验对比6类评价指标，所提算法较其他代表性算法均表现出较好性能，其中结构相似度至少提升了9.24%。同时，仿真SAR图像的视觉效果真实度更高，能够有效保留地貌类别特征。

关键词: 合成孔径雷达, 深度学习, 多类别地貌, 注意力机制, 对比学习, 路径正则化

Abstract:

The current deep learning SAR image simulation methods generally do not consider the feature differences of different geomorphic categories in SAR images， resulting in distortion of geomorphic differentiation in simulated images. To address this issue， this paper proposes a visible-to-SAR image translation algorithm guided by geomorphic category information. A topographic category extraction branch is designed， and the attention mechanism is used to collect topographic category information from multiple dimensions to guide SAR image simulation. Image content extraction branches are designed， and contrast learning is used to enhance the feature extraction capability of the network for common content information of visible light and SAR images. An image generation module is designed to convert content information into SAR images under the guidance of geomorphic category information， so that the generated SAR images have the features corresponding to geomorphic categories， and path regularization is used to subdivide the complete translation process from visible light to SAR images to reduce the difficulty of implementation. A pair dataset of visible light and SAR images with different terrains is established. Experimental comparison of 6 evaluation indexes shows that the proposed algorithm has better performance than other representative algorithms， with the structural similarity being improved by at least 9.24%. In addition， the simulated SAR image shows a higher degree of realism in the visual effect， and can effectively retain the features of landform categories.

Key words: SAR, deep learning, multi-category terrain, attention mechanism, contrastive learning, path regularization

中图分类号:

V249.1

孟令捷, 李红光, 李新军. 基于地貌类别信息指导的SAR图像仿真方法[J]. 航空学报, 2025, 46(7): 331003.

Lingjie MENG, Hongguang LI, Xinjun LI. SAR image simulation method guided by geomorphic category information[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(7): 331003.

图/表 13

图 1

图 2

图 3

图 4

图 5

图 6

图 7

图 8

图 9

表 1

图 10

表 2

表 3

参考文献 33

1	BI H， ZHU D， ZHANG J. Advances in synthetic aperture radar data processing and application［J］. Remote Sensing， 2024， 15（6）： 2931-2952.
2	谷秀昌，付琨，仇晓兰. SAR图像判读解译基础［M］. 北京：科学出版社， 2017： 2-4.
	GU X C， FU K， QIU X L. Basic of SAR image interpretation［M］. Beijing： Science Press， 2017： 2-4 （in Chinese）.
3	LI B， CHEN H. Advancements in spaceborne synthetic aperture radar imaging with system-on-chip architecture and system fault-tolerant technology［J］. Remote Sensing， 2023， 15（19）： 4739.
4	DANG S， CUI Z， CAO Z， et al. SAR target recognition via incremental nonnegative matrix factorization with Lp sparse constraint［C］∥2017 IEEE Radar Conference （RadarConf）. Piscataway： IEEE Press， 2017： 530-534.
5	ZHOU Y， WANG X， LIU J， et al. Challenges and techniques in SAR image interpretation and analysis［J］. Remote Sensing， 2020， 12（10）： 1678-1678.
6	ZHU X X， MOU L， SCHMITT M， et al. Deep learning in SAR image interpretation and applications： A review［J］. IEEE Geoscience and Remote Sensing Magazine， 2017， 5（4）： 8-24.
7	GUO J， LEI B， DING C， et al. Synthetic aperture radar image synthesis by using generative adversarial nets［J］. IEEE Geoscience and Remote Sensing Letters， 2017， 14（7）： 1111-1115.
8	ZHANG L， ZHANG L， TAO D. Applications of synthetic aperture radar in deep learning： A review［J］. IEEE Geoscience and Remote Sensing Magazine， 2021， 9（4）： 23-40.
9	DONG J， JIN M， ZHUANG Q， et al. Simulation of SAR images based on physical modeling of scattering and propagation［J］. Remote Sensing， 2018， 10（5）： 712-712.
10	ZHU X X， MOU L， SCHMITT M， et al. Deep learning meets SAR： A survey［J］. IEEE Transactions on Geoscience and Remote Sensing， 2019， 57（2）： 784-798.
11	CUI Z， ZHANG M， CAO Z， et al. Image data augmentation for SAR sensor via generative adversarial nets［J］. IEEE Access， 2019， 7： 42255-42268.
12	ARJOVSKY M， CHINTALA S， BOTTOU L， et al. Wasserstein GAN［DB/OL］. arXiv preprint： 1701.07875v3， 2017.
13	卢庆林，叶伟，李国靖. 基于DCGAN的SAR虚假目标图像仿真［J］. 电子信息对抗技术， 2020， 35（2）： 57-61， 65.
	LU Q L， YE W， LI G J. Deceptive target SAR image simulation based on deep convolutional generative adversarial network［J］. Electronic Information Warfare Technology， 2020， 35（2）： 57-61， 65 （in Chinese）.
14	ISOLA P， ZHU J Y， ZHOU T， et al. Image-to-image translation with conditional adversarial networks［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 1125-1134.
15	ZHU J Y， PARK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks［C］∥2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 2223-2232.
16	PARK T， EFROS A A， ZHANG R， et al. Contrastive learning for unpaired image-to-image translation［C］∥European Conference on Computer Vision （ECCV 2020）. Berlin： Springer Nature， 2020： 319-345.
17	GRILL J B， STRUB F， ALTCHÉ F， et al. Bootstrap your own latent： A new approach to self-supervised learning［C］∥Proceedings of the 34th International Conference on Neural Information Processing Systems. New York： Curran Associates Inc， 2020： 21271-21284.
18	KARRAS T， LAINE S， AILA T. A style-based generator architecture for generative adversarial networks［C］∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2019： 4401-4410.
19	SCHMITT M， HUGHES L H， ZHU X X. The SEN1-2 dataset for deep Learning in SAR-optical data fusion［J］. ISPRS Annals of the Photogrammetry， Remote Sensing and Spatial Information Sciences. 2018，4（1）： 141-146.
20	XIE S， XU Y， GONG M， et al. Unpaired image-to-image translation with shortest path regularization［C］∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 10177-10187.
21	KIM B， KWON G， KIM K， et al. Unpaired image-to-image translation via neural Schrödinger Bridge［DB/OL］. arXiv preprint： 2305.15086v3， 2024.
22	JUNG C， KWON G， YE J C. Exploring patch-wise semantic relation for contrastive learning in image-to-image translation tasks［C］∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 18239-18248.
23	YANG Z， KPALMA K， RONSIN J. Design of a hybrid measure for image similarity： A statistical， algebraic， and information-theoretic approach［J］. Journal of Electronic Imaging， 2008， 17（3）： 033008.
24	ZHANG L， ZHANG L， MOU X， et al. FSIM： A feature similarity index for image quality assessment［J］. IEEE Transactions on Image Processing， 2011， 20（8）： 2378-2386.
25	GONZALEZ R C， WOODS R E. Digital image processing［M］. 3rd ed. Upper Saddle River： Prentice Hall， 2006 352-357.
26	LANARAS C， BIOUCAS-DIAS J， BALTSAVIAS E， et al. Super-resolution of Sentinel-2 images： Learning a globally applicable deep neural network［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2018， 146： 305-319.
27	SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision［C］∥2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press 2016： 2818-2826.
28	HEUSEL M， RAMSAUER H， UNTERTHINER T， et al. GANs trained by a two time-scale update rule converge to a local Nash Equilibrium［C］∥Proceedings of the 31st International Conference on Neural Information Processing Systems. New York： Curran Associates Inc，2017： 6626-6637.
29	BIŃKOWSKI M， SUTHERLAND D J， ARBEL M， et al. Demystifying MMD GANs［C］∥ICLR 2018 Conference Blind Submission， 2018.
30	HONG W， WANG Z， YANG M， et al. Conditional generative adversarial network for structured domain adaptation［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway：IEEE Press， 2018： 1335-1344.
31	CHEN Y， ZHANG H， HAN J， et al. Robust CycleGAN： Improving CycleGAN performance for image-to-image translation with limited data［J］. IEEE Transactions on Image Processing， 2020， 29： 5423-5432.
32	ZHAO S， ZHENG Y， XU Z， et al. Improving image translation with contrastive learning［C］∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2021： 10033-10042.
33	SCHMITT M， HUGHES L H， QIU C， et al. SEN12MS—A curated dataset of georeferenced multi-spectral Sentinel-1/2 imagery for deep learning and data fusion［J］. ISPRS Annals of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2019： 153-160.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

算法	SSIM	FSIM	PSNR	SRE	FID	KID
Pix2pix	0.119	0.469	27.949	49.705	98.220	5.471
Cyclegan	0.098	0.467	27.962	50.060	100.410	3.364
CUT	0.067	0.462	27.940	49.686	165.690	9.216
Santa	0.093	0.456	27.949	49.756	93.237	3.675
UNSB	0.053	0.429	27.917	49.235	94.745	4.400
SRC	0.089	0.454	27.971	50.181	87.861	2.136
本文方法	0.130	0.479	27.972	50.200	56.750	0.671

实验条件	SSIM	FSIM	PSNR	SRE	FID	KID
去掉注意力机制	0.115	0.466	27.960	50.040	90.882	4.011
去掉对比学习	0.121	0.478	27.945	49.922	87.266	3.048
去掉路径正则化	0.111	0.468	27.970	50.084	66.101	1.845
本文方法	0.130	0.479	27.972	50.200	56.750	0.671

算法	SSIM	FSIM	PSNR	SRE	FID	KID
Pix2pix	0.106	0.443	27.831	49.112	104.836	6.241
Cyclegan	0.087	0.441	27.844	49.465	106.728	4.128
CUT	0.059	0.438	27.769	49.051	174.987	10.364
Santa	0.081	0.433	27.811	49.132	100.867	4.512
UNSB	0.047	0.407	27.703	48.891	103.214	5.143
SRC	0.076	0.428	27.845	49.578	96.041	3.186
本文方法	0.117	0.462	27.854	49.789	61.439	1.213

[1]	吕金虎, 汪宗福, 刘克新, 于江龙, 刘德元. 基于双/多基SAR的集群协同探测与制导新进展[J]. 航空学报, 2025, 46(6): 531548-531548.
[2]	赵志浩, 杨照华, 吴云, 余远金. 弱光环境下基于深度学习的单光子计数成像去噪方法[J]. 航空学报, 2025, 46(3): 630531-630531.
[3]	吴一全, 童康. 基于深度学习的无人机航拍图像小目标检测研究进展[J]. 航空学报, 2025, 46(3): 30848-030848.
[4]	赵辰豪, 吴德伟, 何晶, 吴倩. 一种无人机视觉位姿估计的语义特征匹配算法[J]. 航空学报, 2025, 46(2): 330406-330406.
[5]	贺靖, 谭鸽伟. 基于ALPFT参数估计的运动目标高分辨率成像[J]. 航空学报, 2025, 46(1): 330502-330502.
[6]	闫莉, 张杰, 王家东. 联合等效斜距模型和自聚焦的地面动目标成像[J]. 航空学报, 2024, 45(S1): 730559-730559.
[7]	柳家齐, 陈荣钱, 楼锦华, 韩旭, 吴昊, 尤延铖. 基于深度学习的高速直升机旋翼翼型气动优化设计[J]. 航空学报, 2024, 45(9): 529828-529828.
[8]	王传云, 苏阳, 王琳霖, 王田, 王静静, 高骞. 面向反制无人机集群的多目标连续鲁棒跟踪算法[J]. 航空学报, 2024, 45(7): 329017-329017.
[9]	罗旭东, 吴一全, 陈金林. 无人机航拍影像目标检测与语义分割的深度学习方法研究进展[J]. 航空学报, 2024, 45(6): 28822-028822.
[10]	刘海桥, 刘萌, 龚子超, 董晶. 基于深度学习的图像匹配方法综述[J]. 航空学报, 2024, 45(3): 28796-028796.
[11]	吴跃腾, 巴顿, 杜娟, 李云飞, 常军涛. 基于深度注意力网络的压气机流场重构方法[J]. 航空学报, 2024, 45(24): 630580-630580.
[12]	王梓, 王靖皓, 李杨, 李璋, 于起峰. 基于轻量级神经网络的非合作目标位姿单目测量[J]. 航空学报, 2024, 45(22): 330248-330248.
[13]	武天才, 王宏伦, 任斌, 严国乘, 吴星雨. 基于学习的高超声速飞行器分层协调容错方法[J]. 航空学报, 2024, 45(22): 330191-330191.
[14]	樊云翔, 艾化楠, 王明振, 曹楷, 刘学军, 吕宏强. 基于深度学习的水上飞机非定常水载荷重构[J]. 航空学报, 2024, 45(20): 129882-129882.
[15]	李俊燊, 孟祥彦, 石暖暖, 李伟, 祝宁华, 李明. 光学神经网络智能处理：技术演变与未来展望[J]. 航空学报, 2024, 45(20): 630439-630439.

基于地貌类别信息指导的SAR图像仿真方法

SAR image simulation method guided by geomorphic category information

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 33

相关文章 15

编辑推荐

Metrics

本文评价