双光载荷图像融合及其在低空遥感中的应用

doi:10.7527/S1000-6893.2024.31343

综述

本期目录 | 过刊浏览 | 高级检索

前一篇 |

双光载荷图像融合及其在低空遥感中的应用

孙彬¹^,²^,³(), 游航¹^,²^,³, 李文博¹^,²^,³, 刘祥瑞¹^,²^,³, 马佳义⁴

^1.电子科技大学航空航天学院，成都 611731
^2.自适应光学全国重点实验室，成都 610209
^3.飞行器集群智能感知与协同控制四川省重点实验室，成都 611731 4．武汉大学电子信息学院，武汉 430072

收稿日期:2024-10-08 修回日期:2024-11-20 接受日期:2024-12-06 出版日期:2024-12-30 发布日期:2024-12-23
通讯作者: 孙彬 E-mail:sunbinhust@uestc.edu.cn
基金资助:
国家自然科学基金(U23B2050);四川省科技计划资助(2022YFG0050);中央高校基本科研业务费专项资金(ZYGX2020ZB032)

Dual-band payload image fusion and its applications in low-altitude remote sensing

Bin SUN¹^,²^,³(), Hang YOU¹^,²^,³, Wenbo LI¹^,²^,³, Xiangrui LIU¹^,²^,³, Jiayi MA⁴

^1.School of Aeronautics and Astronautics，University of Electronic Science and Technology of China，Chengdu 611731，China
^2.National Laboratory on Adaptive Optics，Chengdu 610209，China
^3.Aircraft Swarm Intelligent Sensing and Cooperative Control Key Laboratory of Sichuan Province，Chengdu 611731，China
^4.Electronic Information School，Wuhan University，Wuhan 430072，China

Received:2024-10-08 Revised:2024-11-20 Accepted:2024-12-06 Online:2024-12-30 Published:2024-12-23
Contact: Bin SUN E-mail:sunbinhust@uestc.edu.cn
Supported by:
National Natural Science Foundation of China(U23B2050);Sichuan Science and Technology Program(2022YFG0050);Fundamental Research Funds for the Central Universities(ZYGX2020ZB032)

摘要/Abstract

摘要：

双光载荷图像融合在目标监测、灾情预警及专业巡检等低空遥感领域有着广泛的应用前景。首先针对应用场景，统计并归纳了任务载荷双光图像数据集，为相关研究及应用提供数据支持。其次，跟踪深度学习领域的最新技术，系统总结基于深度学习的双光载荷图像融合方法，将现有方法归纳为生成式和判别式两类，并详细梳理代表性的方法及特点。再次，从定性分析、融合质量及运行效率3个方面，对不同类型的图像融合方法在不同数据集上的融合效果进行深入的实验对比分析。最后，探讨图像融合技术在低空遥感应用中面临的挑战问题，为相关领域的研究提供参考。

关键词: 低空遥感, 深度学习, 任务载荷, 双光图像, 图像融合

Abstract:

Dual-band payload image fusion has broad prospects for application in the field of low-altitude remote sensing such as target monitoring， disaster warning， and professional inspection. Firstly， dual-band images datasets of task payload are summarized to provide data support for relevant research and applications. Secondly， by tracking the latest technologies in the field of deep learning， a systematic review of deep learning-based dual-band payload image fusion methods is conducted. These methods are categorized into generative and discriminative approaches， and representative algorithms along with their characteristics are detailed. Thirdly， in-depth experimental comparative analysis of different types of image fusion methods is performed on various datasets， evaluating their performance from three aspects： qualitative analysis， fusion quality， and operational efficiency. Finally， the challenges faced in application of the image fusion technology in low-altitude remote sensing are discussed， offering valuable insights for research in related fields.

Key words: low-altitude remote sensing, deep learning, task payload, dual-band image, image fusion

中图分类号:

孙彬, 游航, 李文博, 刘祥瑞, 马佳义. 双光载荷图像融合及其在低空遥感中的应用[J]. 航空学报, 2025, 46(11): 531343.

Bin SUN, Hang YOU, Wenbo LI, Xiangrui LIU, Jiayi MA. Dual-band payload image fusion and its applications in low-altitude remote sensing[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(11): 531343.

图/表 19

图 1

表1

低空遥感双光图像数据集

应用场景	数据集	年份	机构	数据量	分辨率	图像类型	配准	来源链接
目标监测	VTUAV	2022	大连理工大学	500	1 920×1 080	1	是	https：‍∥zhang-pengyu.github.io/DUT-VTUAV/#Download
	DroneVehicle	2022	天津大学	28 439	640×512	1	是	https：‍∥github.‍com/VisDrone/DroneVehicle
	NII-CU	2022	日本国立情报研究所	5 880	3 840×2 160 640×512	1	是	https：∥www.nii-cu-multispectral.org/
	WiSARD	2022	华盛顿大学	15 453	512×512	1	否	https：∥sites.google.com/uw.edu/wisard/
	RGB-LWIR Labeled Dataset	2022	乔治梅森大学	12 600	1 128×896	2	是	https：‍∥zenodo.org/records/7465521#.Y6Jk0XbMJD8
	UAV-VIIR	2023	安徽大学	5 560		2	否	https：∥github.com/ahucslf/UAV-VIIR
	RTDOD	2023	中国科学院大学	16 200	1 280×720	1	否	https：∥github.com/fenght96/RTDOD
	VT-MOT	2024	安徽大学	582	640×480 1 600×1 200	1	否	https：‍∥github.com/wqw123wqw/PFTrack/blob/main/videos/VTMOT.mp4
	HBUT-IV	2024	湖北工业大学	50	800×600等	1	是	https：‍∥github.‍com/XingLongH/GTMFuse
	HIAL	2024	安徽大学	150	1 920×1 080	2	是	https：‍∥github.‍com/mmic-lcl/Datasets-and-benchmark-code/tree/main
	DVTOD	2024	东北大学	2 179	1 920×1 080 640×512	2	否	https：‍∥github.com/VDT-2048/DVTOD？tab=readme-ov-file
灾情预警	FLAME	2021	北亚利桑那大学	约4×10⁴	640×512等	2	否	https：‍∥ieee-dataport.‍org/open-access/flame-dataset-aerial-imagery-pile-burn-detection-using-drones-uavs
	Forest fire	2023	北京林业大学	6 972	512×512	1	是	https：‍∥www.‍mdpi.‍com/2072-4292/15/12/3173
	石坝管涌灾害	2023	中国应急管理部国家自然灾害研究所		640×512	2	是	按需申请
	RGBT Wildfire	2023	中国科学技术大学	1 367	420×420 640×512	1	否	http：∥complex.ustc.edu.cn/main.htm
	FireMan	2024	奥卢大学	1 470	958×760	2	是	https：∥zenodo.org/records/12773422
专业巡检	Powerline Image	2017	阿纳多卢大学	4 000	128×128	1	否	https：‍∥datasetsearch.‍research.‍google.com/search？‍‍src=0&query=powerline%20infrared%‍20visible&docid=L2cvMTFsajJianI1ZA%3D%3D
	BOOSS	2021	南加州大学	5 193	512×512	1	是	https：∥doi.org/10.5281/zenodo.5241286
	TBBR	2022	卡尔斯鲁厄理工学院	2 848	4 000×3 000 640×512	1	否	https：∥zenodo.org/records/7360996
	LeManchot-analysis	2022	拉瓦尔大学	273	640×480	2	是	https：‍∥github.‍com/parham/lemanchot-analysis
	RGB-T TL	2022	河海大学	600	1 920×1 080 640×480	2	否	https：∥github.com/hhujiang/DSGBINet
	CVpower	2022	上海电力大学	240	240×320	2	否	按需申请
	VITLD	2022	浦项科技大学	400	256×256	1	是	按需申请
	BIM	2023	奥克兰大学	34		1	是	按需申请
	Facade deterioration dataset	2024	同济大学	1 228	800×600	2	是	按需申请

表1

图 2

图 3

图 4

图 5

图 6

图 7

图 8

表2

图 9

图 10

图 11

表3

图 12

图 13

图 14

表4

表5

参考文献 108

[1]	吴付杰，王博文，齐静雅，等. 机载多孔径全景图像合成技术研究进展［J］. 航空学报， 2025， 46（3）： 630505.
	WU F J， WANG B W， QI J Y， et al. A review of airborne multi-aperture panoramic image compositing［J］. Acta Aeronautica et Astronautica Sinica， 2025， 46（3）： 630505 （in Chinese）.
[2]	张洲宇，曹云峰，范彦铭. 低空小型无人机空域冲突视觉感知技术研究进展［J］. 航空学报， 2022， 43（8）： 025645.
	ZHANG Z Y， CAO Y F， FAN Y M. Research progress of vision based aerospace conflict sensing technologies for small unmanned aerial vehicle in low altitude［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43‍（8）‍： 025645 （in Chinese）.
[3]	唐霖峰，张浩，徐涵，等. 基于深度学习的图像融合方法综述［J］. 中国图象图形学报， 2023， 28（1）： 3-36.
	TANG L F， ZHANG H， XU H， et al. Deep learning-based image fusion： a survey［J］. Journal of Image and Graphics， 2023， 28（1）： 3-36 （in Chinese）.
[4]	ZHANG H， XU H， TIAN X， et al. Image fusion meets deep learning： A survey and perspective［J］. Information Fusion， 2021， 76： 323-336.
[5]	KARIM S， TONG G， LI J Y， et al. Current advances and future perspectives of image fusion： A comprehensive review［J］. Information Fusion， 2023， 90： 185-217.
[6]	MA J Y， MA Y， LI C. Infrared and visible image fusion methods and applications： A survey［J］. Information Fusion， 2019， 45： 153-178.
[7]	ZHANG X C， DEMIRIS Y. Visible and infrared image fusion using deep learning［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（8）： 10535-10554.
[8]	李霖，王红梅，李辰凯. 红外与可见光图像深度学习融合方法综述［J］. 红外与激光工程， 2022， 51（12）： 337-356.
	LI L， WANG H M， LI C K. A review of deep learning fusion methods for infrared and visible images［J］. Infrared and Laser Engineering， 2022， 51（12）： 337-356 （in Chinese）.
[9]	ZHANG P Y， ZHAO J， WANG D， et al. Visible-thermal UAV tracking： A large-scale benchmark and new baseline［C］∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 8876-8885.
[10]	SUN Y M， CAO B， ZHU P F， et al. Drone-based RGB-infrared cross-modality vehicle detection via uncertainty-aware learning‍［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（10）： 6700-6713.
[11]	SPETH S， GONÇALVES A， RIGAULT B， et al. Deep learning with RGB and thermal images onboard a drone for monitoring operations［J］. Journal of Field Robotics， 2022， 39（6）： 840-868.
[12]	BROYLES D， HAYNER C R， LEUNG K. WiSARD： A labeled visual and thermal image dataset for wilderness search and rescue‍［C］‍∥2022 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Piscataway： IEEE Press， 2022： 9467-9474.
[13]	JAMES G， EDWARD O. RGB-LWIR labeled dataset for air-based platforms［DB/OL］. （2022-12-20）［2024-09-29］. .
[14]	XIAO Y， LIU F， ZHU Y B， et al. UAV cross-modal image registration： Large-scale dataset and transformer-based approach［C］‍∥Advances in Brain Inspired Cognitive Systems. Singapore： Springer Nature， 2023： 166-176.
[15]	FENG H T， ZHANG L， ZHANG S Q， et al. RTDOD： A large-scale RGB-thermal domain-incremental object detection dataset for UAVs［J］. Image and Vision Computing， 2023， 140： 104856.
[16]	ZHU Y B， WANG Q W， LI C L， et al. Visible-thermal multiple object tracking： Large-scale video dataset and progressive fusion approach‍［J］. Pattern Recognition， 2024， 161： 111330.
[17]	MEI L Y， HU X L， YE Z Y， et al. GTMFuse： Group-attention transformer-driven multiscale dense feature-enhanced network for infrared and visible image fusion［J］. Knowledge-Based Systems， 2024， 293： 111658.
[18]	肖云，曹丹，李成龙，等. 基于高空无人机平台的多模态跟踪数据集［J］. 中国图象图形学报， 2025， 30（2）： 361-374.
	XIAO Y， CAO D， LI C L， et al. A benchmark dataset for high-altitude UAV multi-modal tracking［J］. Journal of Image and Graphics， 2025， 30（2）： 361-374 （in Chinese）.
[19]	SONG K C， XUE X T， WEN H W， et al. Misaligned visible-thermal object detection： A drone-based benchmark and baseline［J］. IEEE Transactions on Intelligent Vehicles， 2024： 1-12.
[20]	樊一江，李卫波. 我国低空经济阶段特征及应用场景研究［J］. 中国物价， 2024（4）： 98-103.
	FAN Y J， LI W B. The development stage and application scenarios of China’‍s low-altitude economy‍［J］. China Price Journal， 2024（4）： 98-103 （in Chinese）.
[21]	SHAMSOSHOARA A， AFGHAH F， RAZI A， et al. Aerial imagery pile burn detection using deep learning： The FLAME dataset‍［J］. Computer Networks， 2021， 193： 108001.
[22]	LIU Y Q， ZHENG C G， LIU X D， et al. Forest fire monitoring method based on UAV visual and infrared image fusion［J］. Remote Sensing， 2023， 15（12）： 3173.
[23]	LI R Z， WANG Z G， SUN H Q， et al. Automatic identification of earth rock embankment piping hazards in small and medium rivers based on UAV thermal infrared and visible images［J］. Remote Sensing， 2023， 15（18）： 4492.
[24]	RUI X， LI Z Q， ZHANG X Y， et al. A RGB-Thermal based adaptive modality learning network for day-night wildfire identification［J］. International Journal of Applied Earth Observation and Geoinformation， 2023， 125： 103554.
[25]	KULARATNE W . et al. FireMan-UAV-RGBT. 1.0.0-beta［DB/OL］.（2024-07-18）［2024-09-29］. .
[26]	YETGIN Ö E， GEREK Ö N. Powerline image dataset （infrared-IR and visible light-VL）［DB/OL］. （2019-06-26）［2024-09-29］. .
[27]	HOU Y， CHEN M D， VOLK R， et al. An approach to semantically segmenting building components and outdoor scenes based on multichannel aerial imagery datasets［J］. Remote Sensing， 2021， 13（21）： 4357.
[28]	KAHN J， MAYER Z， HOU Y， et al. Hyperspectral （RGB + Thermal） drone images of Karlsruhe， Germany-raw images for the Thermal Bridges on Building Rooftops （TBBR） dataset （v1.1）［DB/OL］. （2022-11-25）［2024-09-29］. .
[29]	NOORALISHAHI P， RAMOS G， POZZER S， et al. Texture analysis to enhance drone-based multi-modal inspection of structures［J］. Drones， 2022， 6（12）： 407.
[30]	XU C， LI Q W， JIANG X B， et al. Dual-space graph-based interaction network for RGB-thermal semantic segmentation in electric power scene［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2023， 33（4）： 1577-1592.
[31]	XU X， LIU G， BAVIRISETTI D P， et al. Fast detection fusion network （FDFnet）： An end to end object detection framework based on heterogeneous image fusion for power facility inspection［J］. IEEE Transactions on Power Delivery， 2022， 37（6）： 4496-4505.
[32]	CHOI H， YUN J P， KIM B J， et al. Attention-based multimodal image feature fusion module for transmission line detection［J］. IEEE Transactions on Industrial Informatics， 2022， 18（11）： 7686-7695.
[33]	ZHANG C， ZOU Y， DIMYADI J， et al. Thermal-textured BIM generation for building energy audit with UAV image fusion and histogram-based enhancement［J］. Energy and Buildings， 2023， 301： 113710.
[34]	WANG P J， XIAO J Z， QIANG X X， et al. An automatic building façade deterioration detection system using infrared-visible image fusion and deep learning［J］. Journal of Building Engineering， 2024， 95： 110122.
[35]	ZHAO Z X， BAI H W， ZHU Y Z， et al. DDFM： Denoising diffusion model for multi-modality image fusion［C］‍∥2023 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2023： 8048-8059.
[36]	LI H， WU X J. DenseFuse： A fusion approach to infrared and visible images［J］. IEEE Transactions on Image Processing， 2019， 28（5）： 2614-2623.
[37]	LI H， WU X J， DURRANI T. NestFuse： An infrared and visible image fusion architecture based on nest connection and spatial/channel attention models［J］. IEEE Transactions on Instrumentation and Measurement， 2020， 69（12）： 9645-9656.
[38]	LI H， WU X J， KITTLER J. RFN-Nest： An end-to-end residual fusion network for infrared and visible images［J］. Information Fusion， 2021， 73： 72-86.
[39]	LIN T Y， MAIRE M， BELONGIE S， et al. Microsoft COCO： Common objects in context［C］‍∥European Conference on Computer Vision. Cham： Springer， 2014： 740-755.
[40]	XU H， ZHANG H， MA J Y. Classification saliency-based rule for visible and infrared image fusion［J］. IEEE Transactions on Computational Imaging， 2021， 7： 824-836.
[41]	JIAN L H， YANG X M， LIU Z， et al. SEDRFuse： A symmetric encoder–decoder with residual block network for infrared and visible image fusion［J］. IEEE Transactions on Instrumentation and Measurement， 2020， 70： 5002215.
[42]	LIU J Y， FAN X， JIANG J， et al. Learning a deep multi-scale feature ensemble and an edge-attention guidance for image fusion［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（1）： 105-119.
[43]	ZHAO Z X， XU S， ZHANG J S， et al. Efficient and model-based infrared and visible image fusion via algorithm unrolling［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（3）： 1186-1196.
[44]	ZHAO Z X， XU S， ZHANG C X， et al. DIDFuse： Deep image decomposition for infrared and visible image fusion‍［DB/OL］. arXiv preprint： 2003. 09210， 2020.
[45]	ZHAO Z X， BAI H W， ZHANG J S， et al. CDDFuse： Correlation-driven dual-branch feature decomposition for multi-modality image fusion［C］‍∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 5906-5916.
[46]	XU H， GONG M Q， TIAN X， et al. CUFD： An encoder-decoder network for visible and infrared image fusion based on common and unique feature decomposition［J］. Computer Vision and Image Understanding， 2022， 218： 103407.
[47]	徐涵，梅晓光，樊凡，等. 信息分离和质量引导的红外与可见光图像融合［J］. 中国图象图形学报， 2022， 27（11）： 3316-3330.
	XU H， MEI X G， FAN F， et al. Information decomposition and quality guided infrared and visible image fusion［J］. Journal of Image and Graphics， 2022， 27（11）： 3316-3330 （in Chinese）.
[48]	XU H， WANG X Y， MA J Y. DRF： Disentangled representation for visible and infrared image fusion［J］. IEEE Transactions on Instrumentation and Measurement， 2021， 70： 5006713.
[49]	LUO X Q， GAO Y H， WANG A Q， et al. IFSepR： A general framework for image fusion based on separate representation learning［J］. IEEE Transactions on Multimedia， 2021， 25： 608-623.
[50]	WANG Z S， WANG J Y， WU Y Y， et al. UNFusion： A unified multi-scale densely connected network for infrared and visible image fusion［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（6）： 3360-3374.
[51]	XU H， MA J， JIANG J， et al. U2Fusion： A unified unsupervised image fusion network［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（1）： 502-518.
[52]	LONG Y Z， JIA H T， ZHONG Y D， et al. RXDNFuse： A aggregated residual dense network for infrared and visible image fusion［J］. Information Fusion， 2021， 69： 128-141.
[53]	HOU R C， ZHOU D M， NIE R C， et al. VIF-Net： An unsupervised framework for infrared and visible image fusion［J］. IEEE Transactions on Computational Imaging， 2020， 6： 640-651.
[54]	ZHAO F， ZHAO W D， YAO L B， et al. Self-supervised feature adaption for infrared and visible image fusion［J］. Information Fusion， 2021， 76： 189-203.
[55]	LIANG P， JIANG J， LIU X， et al. Fusion from decomposition： A self-supervised decomposition approach for image fusion［C］‍∥European Conference on Computer Vision. Cham： Springer， 2022： 719-735.
[56]	LI J T， NIE R C， CAO J D， et al. LRFE-CL： A self-supervised fusion network for infrared and visible image via low redundancy feature extraction and contrastive learning［J］. Expert Systems with Applications， 2024， 251： 124125.
[57]	WANG X， GUAN Z， QIAN W， et al. CS²Fusion： Contrastive learning for Self-Supervised infrared and visible image fusion by estimating feature compensation map［J］. Information Fusion， 2024， 102： 102039.
[58]	MA J Y， TANG L F， XU M L， et al. STDFusionNet： An infrared and visible image fusion network based on salient target detection［J］. IEEE Transactions on Instrumentation and Measurement， 2021， 70： 5009513.
[59]	ZHU D P， ZHAN W D， JIANG Y C， et al. IPLF： A novel image pair learning fusion network for infrared and visible image［J］. IEEE Sensors Journal， 2022， 22（9）： 8808-8817.
[60]	WANG X， GUAN Z， YU S S， et al. Infrared and visible image fusion via decoupling network‍［J］. IEEE Transactions on Instrumentation and Measurement， 2022， 71： 2521213.
[61]	TANG L F， YUAN J T， MA J Y. Image fusion in the loop of high-level vision tasks： A semantic-aware real-time infrared and visible image fusion network［J］. Information Fusion， 2022， 82： 28-42.
[62]	SUN Y M， CAO B， ZHU P F， et al. DetFusion： A detection-driven infrared and visible image fusion network［C］‍∥Proceedings of the 30th ACM International Conference on Multimedia. New York： ACM， 2022： 4003-4011.
[63]	TANG L F， ZHANG H， XU H， et al. Rethinking the necessity of image fusion in high-level vision tasks： A practical infrared and visible image fusion network based on progressive semantic injection and scene fidelity［J］. Information Fusion， 2023， 99： 101870.
[64]	LIU X W， HUO H T， LI J， et al. A semantic-driven coupled network for infrared and visible image fusion［J］. Information Fusion， 2024， 108： 102352.
[65]	ZHAO W D， XIE S G， ZHAO F， et al. MetaFusion： Infrared and visible image fusion via meta-feature embedding from object detection［C］‍∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 13955-13965.
[66]	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16x16 words： Transformers for image recognition at scale［DB/OL］. arXiv preprints： 2010.11929， 2020.
[67]	WANG Z， CHEN Y， SHAO W， et al. SwinFuse： A residual swin transformer fusion network for infrared and visible images［J］. IEEE Transactions on Instrumentation and Measurement， 2022， 71： 5016412 .
[68]	GUO J Y， HAN K， WU H， et al. CMT： Convolutional neural networks meet vision transformers‍［C］‍∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 12165-12175.
[69]	YUAN K， GUO S P， LIU Z W， et al. Incorporating convolution designs into visual transformers‍［C］‍∥2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2021： 559-568.
[70]	KHAN A， RAUF Z， SOHAIL A， et al. A survey of the vision transformers and their CNN-transformer based variants［J］. Artificial Intelligence Review， 2023， 56（3）： 2917-2970.
[71]	CHANG Z H， FENG Z X， YANG S Y， et al. AFT： Adaptive fusion transformer for visible and infrared images［J］. IEEE Transactions on Image Processing， 2023， 32： 2077-2092.
[72]	LI J， YANG B， BAI L， et al. TFIV： Multigrained token fusion for infrared and visible image via transformer［J］. IEEE Transactions on Instrumentation and Measurement， 2023， 72： 2526414.
[73]	MA J Y， TANG L F， FAN F， et al. SwinFusion： Cross-domain long-range learning for general image fusion via swin transformer［J］. IEEE/CAA Journal of Automatica Sinica， 2022， 9（7）： 1200-1217.
[74]	CHEN J， DING J F， YU Y， et al. THFuse： An infrared and visible image fusion network using transformer and hybrid feature extractor‍［J］. Neurocomputing， 2023， 527： 71-82.
[75]	LI B C， LU J X， LIU Z F， et al. SBIT-Fuse： Infrared and visible image fusion based on Symmetrical Bilateral interaction and Transformer［J］. Infrared Physics & Technology， 2024， 138： 105269.
[76]	PARK S， VIEN A G， LEE C. Cross-modal transformers for infrared and visible image fusion［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2024， 34（2）： 770-785.
[77]	TANG W， HE F Z， LIU Y. TCCFusion： An infrared and visible image fusion method based on transformer and cross correlation‍［J］. Pattern Recognition， 2023， 137： 109295.
[78]	JIN H Y， YANG Y， SU H N， et al. Low light RGB and IR image fusion with selective CNN-transformer network［C］‍∥2023 IEEE International Conference on Image Processing （ICIP）. Piscataway： IEEE Press， 2023： 1255-1259.
[79]	ZHAO Y Y， ZHENG Q C， ZHU P H， et al. TUFusion： A transformer-based universal fusion algorithm for multimodal images［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2024， 34（3）： 1712-1725.
[80]	LI J， ZHU J M， LI C， et al. CGTF： Convolution-guided transformer for infrared and visible image fusion［J］. IEEE Transactions on Instrumentation and Measurement， 2022， 71： 5012314.
[81]	TANG W， HE F Z， LIU Y， et al. DATFuse： Infrared and visible image fusion via dual attention transformer［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2023， 33（7）： 3159-3172.
[82]	YANG X， HUO H T， WANG R H， et al. DGLT-Fusion： A decoupled global-local infrared and visible image fusion transformer［J］. Infrared Physics & Technology， 2023， 128： 104522.
[83]	WANG Z S， YANG F， SUN J， et al. AITFuse： Infrared and visible image fusion via adaptive interactive transformer learning［J］. Knowledge-Based Systems， 2024， 299： 111949.
[84]	MA J Y， YU W， LIANG P W， et al. FusionGAN： A generative adversarial network for infrared and visible image fusion［J］. Information Fusion， 2019， 48： 11-26.
[85]	FU Y， WU X J， DURRANI T. Image fusion based on generative adversarial network consistent with perception［J］. Information Fusion， 2021， 72： 110-125.
[86]	MA J Y， ZHANG H， SHAO Z F， et al. GANMcC： A generative adversarial network with multiclassification constraints for infrared and visible image fusion［J］. IEEE Transactions on Instrumentation and Measurement， 2020， 70： 5005014.
[87]	MA J Y， LIANG P W， YU W， et al. Infrared and visible image fusion via detail preserving adversarial learning［J］. Information Fusion， 2020， 54： 85-98.
[88]	RAO Y J， WU D， HAN M N， et al. AT-GAN： A generative adversarial network with attention and transition for infrared and visible image fusion［J］. Information Fusion， 2023， 92： 336-349.
[89]	CHANG L， HUANG Y D， LI Q F， et al. DUGAN： Infrared and visible image fusion based on dual fusion paths and a U-type discriminator［J］. Neurocomputing， 2024， 578： 127391.
[90]	MA J Y， XU H， JIANG J J， et al. DDcGAN： A dual-discriminator conditional generative adversarial network for multi-resolution image fusion［J］. IEEE Transactions on Image Processing， 2020， 29： 4980-4995.
[91]	ZHOU H B， WU W， ZHANG Y D， et al. Semantic-supervised infrared and visible image fusion via a dual-discriminator generative adversarial network［J］. IEEE Transactions on Multimedia， 2021， 25： 635-648.
[92]	ZHANG H， YUAN J T， TIAN X， et al. GAN-FM： Infrared and visible image fusion using GAN with full-scale skip connection and dual Markovian discriminators［J］. IEEE Transactions on Computational Imaging， 2021， 7： 1134-1147.
[93]	LI J， HUO H T， LI C， et al. AttentionFGAN： Infrared and visible image fusion using attention-based generative adversarial networks［J］. IEEE Transactions on Multimedia， 2020， 23： 1383-1396.
[94]	LIU J Y， FAN X， HUANG Z B， et al. Target-aware dual adversarial learning and a multi-scenario multi-modality benchmark to fuse infrared and visible for object detection‍［C］‍∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 5792-5801.
[95]	SONG A Y， DUAN H X， PEI H D， et al. Triple-discriminator generative adversarial network for infrared and visible image fusion‍［J］. Neurocomputing， 2022， 483： 183-194.
[96]	REN L， PAN Z B， CAO J Z， et al. Infrared and visible image fusion based on variational auto-encoder and infrared feature compensation［J］. Infrared Physics & Technology， 2021， 117： 103839.
[97]	DUFFHAUSS F， VIEN N A， ZIESCHE H， et al. FusionVAE： A deep hierarchical variational autoencoder for RGB image fusion‍［C］‍∥European Conference on Computer Vision. Cham： Springer， 2022： 674-691.
[98]	闫志浩，周长兵，李小翠. 生成扩散模型研究综述［J］. 计算机科学， 2024， 51（1）： 273-283.
	YAN Z H， ZHOU Z B， LI X C. Survey on generative diffusion model［J］. Computer Science， 2024， 51（1）： 273-283 （in Chinese）.
[99]	CAO H Q， TAN C， GAO Z Y， et al. A survey on generative diffusion models‍［J］. IEEE Transactions on Knowledge and Data Engineering， 2024， 36（7）： 2814-2830.
[100]	CROITORU F A， HONDRU V， IONESCU R T， et al. Diffusion models in vision： A survey［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（9）： 10850-10869.
[101]	YANG L， ZHANG Z L， SONG Y， et al. Diffusion models： A comprehensive survey of methods and applications［J］. ACM Computing Surveys， 2023， 56（4）：1-39.
[102]	YI X P， TANG L F， ZHANG H， et al. Diff-IF： Multi-modality image fusion via diffusion model with fusion knowledge prior‍［J］. Information Fusion， 2024， 110： 102450.
[103]	LI M N， PEI R H， ZHENG T Y， et al. FusionDiff： Multi-focus image fusion using denoising diffusion probabilistic models‍［J］. Expert Systems with Applications， 2024， 238： 121664.
[104]	YUE J， FANG L Y， XIA S B， et al. Dif-Fusion： Toward high color fidelity in infrared and visible image fusion with diffusion models［J］. IEEE Transactions on Image Processing， 2023， 32： 5705-5720.
[105]	TANG L F， DENG Y X， YI X P， et al. DRMF： Degradation-robust multi-modal image fusion via composable diffusion prior‍［C］‍∥Proceedings of the 32nd ACM International Conference on Multimedia. New York： ACM， 2024： 8546-8555.
[106]	YANG B， JIANG Z H， PAN D， et al. LFDT-Fusion： A latent feature-guided diffusion Transformer model for general image fusion‍［J］. Information Fusion， 2025， 113： 102639.
[107]	孙彬，高云翔，诸葛吴为，等. 可见光与红外图像融合质量评价指标分析［J］. 中国图象图形学报， 2023， 28（1）： 144-155.
	SUN B， GAO Y X， ZHUGE W W， et al. Analysis of quality objective assessment metrics for visible and infrared image fusion‍［J］. Journal of Image and Graphics， 2023， 28（1）： 144-155 （in Chinese）.
[108]	HAN Y， CAI Y Z， CAO Y， et al. A new image fusion performance metric based on visual information fidelity［J］. Information Fusion， 2013， 14（2）： 127-135.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

判别式融合方法	特征表示	融合策略	监督方式	训练方式	复杂度	效率
AE	特征降维	人工为主	自监督	非端到端为主	低	高
CNN	局部特征	人工/学习	无监督/自监督/有监督	非端到端/端到端	中	中
Transformer	全局特征	人工/学习	无监督/自监督/有监督	非端到端/端到端	高	低

生成式融合方法	估计原理	估计方式	融合策略	生成质量	训练方式	复杂度	训练稳定性	效率
VAE	变分推理	显示	学习	低	端到端	低	稳定	高
GAN	对抗训练	隐式	学习	高	端到端	中	不稳定	中
Diffusion	随机过程	隐式	人工/学习	高	端到端/非端到端	高	较稳定	低

数据集	方法	类型	AG↑	Qabf↑	SD↑	VIF↑
BOOSS	DenseFuse	AE	4.659	0.812	38.829	1.175
	DIDFuse	AE	4.611	0.736	45.147	1.120
	U2Fusion	CNN	5.094	0.753	39.413	1.070
	DeFusion	CNN	3.190	0.315	23.517	0.904
	STDFusionNet	CNN	5.122	0.821	44.402	1.169
	SeAFusion	CNN	4.900	0.723	37.887	1.012
	SwinFuse	Transformer	5.094	0.825	49.793	1.269
	SwinFusion	Transformer	5.016	0.822	39.204	1.111
	FusionGAN	GAN	3.462	0.220	19.378	0.865
	GAN-FM	GAN	5.517	0.669	40.298	1.083
	Diff-IF	Diffusion	4.621	0.646	36.001	1.002
	DDFM	Diffusion	2.802	0.210	34.911	1.100
FireMan	DenseFuse	AE	2.597	0.692	39.923	1.089
	DIDFuse	AE	2.543	0.559	50.556	0.991
	U2Fusion	CNN	3.078	0.691	40.714	0.932
	DeFusion	CNN	2.271	0.431	33.644	0.847
	STDFusionNet	CNN	2.329	0.405	45.883	1.142
	SeAFusion	CNN	3.082	0.647	46.375	1.005
	SwinFuse	Transformer	2.647	0.626	51.177	1.119
	SwinFusion	Transformer	2.609	0.493	43.848	1.046
	FusionGAN	GAN	2.005	0.126	28.352	0.788
	GAN-FM	GAN	2.933	0.536	45.981	1.060
	Diff-IF	Diffusion	2.688	0.533	43.600	0.989
	DDFM	Diffusion	2.247	0.280	39.225	1.033
VTUAV	DenseFuse	AE	3.149	0.476	40.572	0.681
	DIDFuse	AE	3.478	0.438	57.225	0.663
	U2Fusion	CNN	3.838	0.537	42.224	0.661
	DeFusion	CNN	2.955	0.396	39.211	0.677
	STDFusionNet	CNN	3.542	0.496	50.262	0.764
	SeAFusion	CNN	3.756	0.532	48.173	0.762
	SwinFuse	Transformer	3.401	0.436	61.139	0.685
	SwinFusion	Transformer	3.675	0.546	47.659	0.748
	FusionGAN	GAN	2.891	0.272	33.117	0.509
	GAN-FM	GAN	3.685	0.464	51.469	0.823
	Diff-IF	Diffusion	3.734	0.507	46.214	0.811
	DDFM	Diffusion	2.531	0.119	40.168	0.188

方法	参数量/10⁶	运行时间/s
方法	参数量/10⁶	VTUAV	BOOSS	FireMan
DenseFuse	0.222 6	0.198 1±0.021 9	0.208 7±0.022 8	0.206 8±0.022 4
DIDFuse	0.260 9	0.070 6±0.002 0	0.078 4±0.003 2	0.091 9±0.003 1
U2Fusion	0.659 2	0.051 4±0.002 8	0.059 2±0.003 2	0.073 7±0.003 5
DeFusion	7.874 5	0.329 8±0.022 4	0.431 1±0.028 1	0.400 8±0.059 1
STDFusion-Net	0.282 5	0.035 1±0.001 1	0.039 5±0.001 4	0.049 2±0.001 5
SeAFusion	0.166 9	0.002 8±0.000 1	0.003 0±0.000 4	0.003 6±0.000 3
SwinFuse	2.021 2	0.308 1±0.033 6	0.405 9±0.006 8	0.540 5±0.055 7
SwinFusion	0.973 7	1.849 7±0.077 8	2.011 5±0.062 5	2.739 3±0.106 5
FusionGAN	1.326 4	0.052 8±0.004 9	0.061 6±0.005 5	0.077 3±0.005 2
GAN-FM	15.075 4	0.558 8±0.035 6	0.537 0±0.030 7	0.573 6±0.034 1
Diff-IF	23.713 0	1.219 9±0.004 5	1.379 4±0.005 7	1.721 7±0.008 8
DDFM	552.663 0	18.824 7±0.531 5	22.569 2±0.586 7	29.354 2±0.386 8

双光载荷图像融合及其在低空遥感中的应用

Dual-band payload image fusion and its applications in low-altitude remote sensing

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 19

参考文献 108

相关文章 15

编辑推荐

Metrics

本文评价

[1]	徐建宇, 周莉, 王占学, 是介, 史毫. 基于快速逐线计算模型的高超声速羽流红外辐射计算方法[J]. 航空学报, 2025, 46(8): 630778-630778.
[2]	孟令捷, 李红光, 李新军. 基于地貌类别信息指导的SAR图像仿真方法[J]. 航空学报, 2025, 46(7): 331003-331003.
[3]	赵志浩, 杨照华, 吴云, 余远金. 弱光环境下基于深度学习的单光子计数成像去噪方法[J]. 航空学报, 2025, 46(3): 630531-630531.
[4]	吴付杰, 王博文, 齐静雅, 曹铭智, 桑英俊, 李晟, 张玉珍, 陈钱, 左超. 机载多孔径全景图像合成技术研究进展[J]. 航空学报, 2025, 46(3): 630505-630505.
[5]	吴一全, 童康. 基于深度学习的无人机航拍图像小目标检测研究进展[J]. 航空学报, 2025, 46(3): 30848-030848.
[6]	孟凡腾, 秦勇, 崔京, 吴云鹏, 张紫城, 魏少伟. 铁路外部环境无人机图像未知风险检测方法[J]. 航空学报, 2025, 46(11): 531262-531262.
[7]	陈唯实, 牛红闯, 王鑫, 万健, 卢贤锋, 张洁, 王青斌. 机场净空区飞鸟与无人机多源探测技术综述[J]. 航空学报, 2025, 46(10): 31251-031251.
[8]	林杰, 唐志共, 钱炜祺, 王岳青, 张鹏, 徐炜遐, 刘杰. 飞行器生成式模型气动设计研究进展与展望[J]. 航空学报, 2025, 46(10): 631679-631679.
[9]	王永海, 李昊歌, 李嘉鑫, 段毅, 田川, 郭灵犀, 吴旭生. 基于深度学习的飞行器外形快速生成[J]. 航空学报, 2025, 46(10): 631614-631614.
[10]	柳家齐, 陈荣钱, 楼锦华, 韩旭, 吴昊, 尤延铖. 基于深度学习的高速直升机旋翼翼型气动优化设计[J]. 航空学报, 2024, 45(9): 529828-529828.
[11]	罗旭东, 吴一全, 陈金林. 无人机航拍影像目标检测与语义分割的深度学习方法研究进展[J]. 航空学报, 2024, 45(6): 28822-028822.
[12]	刘海桥, 刘萌, 龚子超, 董晶. 基于深度学习的图像匹配方法综述[J]. 航空学报, 2024, 45(3): 28796-028796.
[13]	吴跃腾, 巴顿, 杜娟, 李云飞, 常军涛. 基于深度注意力网络的压气机流场重构方法[J]. 航空学报, 2024, 45(24): 630580-630580.
[14]	王梓, 王靖皓, 李杨, 李璋, 于起峰. 基于轻量级神经网络的非合作目标位姿单目测量[J]. 航空学报, 2024, 45(22): 330248-330248.
[15]	武天才, 王宏伦, 任斌, 严国乘, 吴星雨. 基于学习的高超声速飞行器分层协调容错方法[J]. 航空学报, 2024, 45(22): 330191-330191.