双光载荷图像融合及其在低空遥感中的应用

doi:10.7527/S1000-6893.2024.31343

Abstract

Abstract:

Dual-band payload image fusion has broad prospects for application in the field of low-altitude remote sensing such as target monitoring， disaster warning， and professional inspection. Firstly， dual-band images datasets of task payload are summarized to provide data support for relevant research and applications. Secondly， by tracking the latest technologies in the field of deep learning， a systematic review of deep learning-based dual-band payload image fusion methods is conducted. These methods are categorized into generative and discriminative approaches， and representative algorithms along with their characteristics are detailed. Thirdly， in-depth experimental comparative analysis of different types of image fusion methods is performed on various datasets， evaluating their performance from three aspects： qualitative analysis， fusion quality， and operational efficiency. Finally， the challenges faced in application of the image fusion technology in low-altitude remote sensing are discussed， offering valuable insights for research in related fields.

Key words: low-altitude remote sensing, deep learning, task payload, dual-band image, image fusion

CLC Number:

Bin SUN, Hang YOU, Wenbo LI, Xiangrui LIU, Jiayi MA. Dual-band payload image fusion and its applications in low-altitude remote sensing[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(11): 531343.

Figures/Tables 19

Fig.1

Table 1

Dual-band image datasets for low-altitude remote sensing

应用场景	数据集	年份	机构	数据量	分辨率	图像类型	配准	来源链接
目标监测	VTUAV	2022	大连理工大学	500	1 920×1 080	1	是	https：‍∥zhang-pengyu.github.io/DUT-VTUAV/#Download
	DroneVehicle	2022	天津大学	28 439	640×512	1	是	https：‍∥github.‍com/VisDrone/DroneVehicle
	NII-CU	2022	日本国立情报研究所	5 880	3 840×2 160 640×512	1	是	https：∥www.nii-cu-multispectral.org/
	WiSARD	2022	华盛顿大学	15 453	512×512	1	否	https：∥sites.google.com/uw.edu/wisard/
	RGB-LWIR Labeled Dataset	2022	乔治梅森大学	12 600	1 128×896	2	是	https：‍∥zenodo.org/records/7465521#.Y6Jk0XbMJD8
	UAV-VIIR	2023	安徽大学	5 560		2	否	https：∥github.com/ahucslf/UAV-VIIR
	RTDOD	2023	中国科学院大学	16 200	1 280×720	1	否	https：∥github.com/fenght96/RTDOD
	VT-MOT	2024	安徽大学	582	640×480 1 600×1 200	1	否	https：‍∥github.com/wqw123wqw/PFTrack/blob/main/videos/VTMOT.mp4
	HBUT-IV	2024	湖北工业大学	50	800×600等	1	是	https：‍∥github.‍com/XingLongH/GTMFuse
	HIAL	2024	安徽大学	150	1 920×1 080	2	是	https：‍∥github.‍com/mmic-lcl/Datasets-and-benchmark-code/tree/main
	DVTOD	2024	东北大学	2 179	1 920×1 080 640×512	2	否	https：‍∥github.com/VDT-2048/DVTOD？tab=readme-ov-file
灾情预警	FLAME	2021	北亚利桑那大学	约4×10⁴	640×512等	2	否	https：‍∥ieee-dataport.‍org/open-access/flame-dataset-aerial-imagery-pile-burn-detection-using-drones-uavs
	Forest fire	2023	北京林业大学	6 972	512×512	1	是	https：‍∥www.‍mdpi.‍com/2072-4292/15/12/3173
	石坝管涌灾害	2023	中国应急管理部国家自然灾害研究所		640×512	2	是	按需申请
	RGBT Wildfire	2023	中国科学技术大学	1 367	420×420 640×512	1	否	http：∥complex.ustc.edu.cn/main.htm
	FireMan	2024	奥卢大学	1 470	958×760	2	是	https：∥zenodo.org/records/12773422
专业巡检	Powerline Image	2017	阿纳多卢大学	4 000	128×128	1	否	https：‍∥datasetsearch.‍research.‍google.com/search？‍‍src=0&query=powerline%20infrared%‍20visible&docid=L2cvMTFsajJianI1ZA%3D%3D
	BOOSS	2021	南加州大学	5 193	512×512	1	是	https：∥doi.org/10.5281/zenodo.5241286
	TBBR	2022	卡尔斯鲁厄理工学院	2 848	4 000×3 000 640×512	1	否	https：∥zenodo.org/records/7360996
	LeManchot-analysis	2022	拉瓦尔大学	273	640×480	2	是	https：‍∥github.‍com/parham/lemanchot-analysis
	RGB-T TL	2022	河海大学	600	1 920×1 080 640×480	2	否	https：∥github.com/hhujiang/DSGBINet
	CVpower	2022	上海电力大学	240	240×320	2	否	按需申请
	VITLD	2022	浦项科技大学	400	256×256	1	是	按需申请
	BIM	2023	奥克兰大学	34		1	是	按需申请
	Facade deterioration dataset	2024	同济大学	1 228	800×600	2	是	按需申请

Table 1

Fig.2

Fig.3

Fig.4

Fig.5

Fig.6

Fig.7

Fig.8

Table 2

Fig.9

Fig.10

Fig.11

Table 3

Fig.12

Fig.13

Fig.14

Table 4

Table 5

References 108

[1]	吴付杰，王博文，齐静雅，等. 机载多孔径全景图像合成技术研究进展［J］. 航空学报， 2025， 46（3）： 630505.
	WU F J， WANG B W， QI J Y， et al. A review of airborne multi-aperture panoramic image compositing［J］. Acta Aeronautica et Astronautica Sinica， 2025， 46（3）： 630505 （in Chinese）.
[2]	张洲宇，曹云峰，范彦铭. 低空小型无人机空域冲突视觉感知技术研究进展［J］. 航空学报， 2022， 43（8）： 025645.
	ZHANG Z Y， CAO Y F， FAN Y M. Research progress of vision based aerospace conflict sensing technologies for small unmanned aerial vehicle in low altitude［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43‍（8）‍： 025645 （in Chinese）.
[3]	唐霖峰，张浩，徐涵，等. 基于深度学习的图像融合方法综述［J］. 中国图象图形学报， 2023， 28（1）： 3-36.
	TANG L F， ZHANG H， XU H， et al. Deep learning-based image fusion： a survey［J］. Journal of Image and Graphics， 2023， 28（1）： 3-36 （in Chinese）.
[4]	ZHANG H， XU H， TIAN X， et al. Image fusion meets deep learning： A survey and perspective［J］. Information Fusion， 2021， 76： 323-336.
[5]	KARIM S， TONG G， LI J Y， et al. Current advances and future perspectives of image fusion： A comprehensive review［J］. Information Fusion， 2023， 90： 185-217.
[6]	MA J Y， MA Y， LI C. Infrared and visible image fusion methods and applications： A survey［J］. Information Fusion， 2019， 45： 153-178.
[7]	ZHANG X C， DEMIRIS Y. Visible and infrared image fusion using deep learning［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（8）： 10535-10554.
[8]	李霖，王红梅，李辰凯. 红外与可见光图像深度学习融合方法综述［J］. 红外与激光工程， 2022， 51（12）： 337-356.
	LI L， WANG H M， LI C K. A review of deep learning fusion methods for infrared and visible images［J］. Infrared and Laser Engineering， 2022， 51（12）： 337-356 （in Chinese）.
[9]	ZHANG P Y， ZHAO J， WANG D， et al. Visible-thermal UAV tracking： A large-scale benchmark and new baseline［C］∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 8876-8885.
[10]	SUN Y M， CAO B， ZHU P F， et al. Drone-based RGB-infrared cross-modality vehicle detection via uncertainty-aware learning‍［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（10）： 6700-6713.
[11]	SPETH S， GONÇALVES A， RIGAULT B， et al. Deep learning with RGB and thermal images onboard a drone for monitoring operations［J］. Journal of Field Robotics， 2022， 39（6）： 840-868.
[12]	BROYLES D， HAYNER C R， LEUNG K. WiSARD： A labeled visual and thermal image dataset for wilderness search and rescue‍［C］‍∥2022 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Piscataway： IEEE Press， 2022： 9467-9474.
[13]	JAMES G， EDWARD O. RGB-LWIR labeled dataset for air-based platforms［DB/OL］. （2022-12-20）［2024-09-29］. .
[14]	XIAO Y， LIU F， ZHU Y B， et al. UAV cross-modal image registration： Large-scale dataset and transformer-based approach［C］‍∥Advances in Brain Inspired Cognitive Systems. Singapore： Springer Nature， 2023： 166-176.
[15]	FENG H T， ZHANG L， ZHANG S Q， et al. RTDOD： A large-scale RGB-thermal domain-incremental object detection dataset for UAVs［J］. Image and Vision Computing， 2023， 140： 104856.
[16]	ZHU Y B， WANG Q W， LI C L， et al. Visible-thermal multiple object tracking： Large-scale video dataset and progressive fusion approach‍［J］. Pattern Recognition， 2024， 161： 111330.
[17]	MEI L Y， HU X L， YE Z Y， et al. GTMFuse： Group-attention transformer-driven multiscale dense feature-enhanced network for infrared and visible image fusion［J］. Knowledge-Based Systems， 2024， 293： 111658.
[18]	肖云，曹丹，李成龙，等. 基于高空无人机平台的多模态跟踪数据集［J］. 中国图象图形学报， 2025， 30（2）： 361-374.
	XIAO Y， CAO D， LI C L， et al. A benchmark dataset for high-altitude UAV multi-modal tracking［J］. Journal of Image and Graphics， 2025， 30（2）： 361-374 （in Chinese）.
[19]	SONG K C， XUE X T， WEN H W， et al. Misaligned visible-thermal object detection： A drone-based benchmark and baseline［J］. IEEE Transactions on Intelligent Vehicles， 2024： 1-12.
[20]	樊一江，李卫波. 我国低空经济阶段特征及应用场景研究［J］. 中国物价， 2024（4）： 98-103.
	FAN Y J， LI W B. The development stage and application scenarios of China’‍s low-altitude economy‍［J］. China Price Journal， 2024（4）： 98-103 （in Chinese）.
[21]	SHAMSOSHOARA A， AFGHAH F， RAZI A， et al. Aerial imagery pile burn detection using deep learning： The FLAME dataset‍［J］. Computer Networks， 2021， 193： 108001.
[22]	LIU Y Q， ZHENG C G， LIU X D， et al. Forest fire monitoring method based on UAV visual and infrared image fusion［J］. Remote Sensing， 2023， 15（12）： 3173.
[23]	LI R Z， WANG Z G， SUN H Q， et al. Automatic identification of earth rock embankment piping hazards in small and medium rivers based on UAV thermal infrared and visible images［J］. Remote Sensing， 2023， 15（18）： 4492.
[24]	RUI X， LI Z Q， ZHANG X Y， et al. A RGB-Thermal based adaptive modality learning network for day-night wildfire identification［J］. International Journal of Applied Earth Observation and Geoinformation， 2023， 125： 103554.
[25]	KULARATNE W . et al. FireMan-UAV-RGBT. 1.0.0-beta［DB/OL］.（2024-07-18）［2024-09-29］. .
[26]	YETGIN Ö E， GEREK Ö N. Powerline image dataset （infrared-IR and visible light-VL）［DB/OL］. （2019-06-26）［2024-09-29］. .
[27]	HOU Y， CHEN M D， VOLK R， et al. An approach to semantically segmenting building components and outdoor scenes based on multichannel aerial imagery datasets［J］. Remote Sensing， 2021， 13（21）： 4357.
[28]	KAHN J， MAYER Z， HOU Y， et al. Hyperspectral （RGB + Thermal） drone images of Karlsruhe， Germany-raw images for the Thermal Bridges on Building Rooftops （TBBR） dataset （v1.1）［DB/OL］. （2022-11-25）［2024-09-29］. .
[29]	NOORALISHAHI P， RAMOS G， POZZER S， et al. Texture analysis to enhance drone-based multi-modal inspection of structures［J］. Drones， 2022， 6（12）： 407.
[30]	XU C， LI Q W， JIANG X B， et al. Dual-space graph-based interaction network for RGB-thermal semantic segmentation in electric power scene［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2023， 33（4）： 1577-1592.
[31]	XU X， LIU G， BAVIRISETTI D P， et al. Fast detection fusion network （FDFnet）： An end to end object detection framework based on heterogeneous image fusion for power facility inspection［J］. IEEE Transactions on Power Delivery， 2022， 37（6）： 4496-4505.
[32]	CHOI H， YUN J P， KIM B J， et al. Attention-based multimodal image feature fusion module for transmission line detection［J］. IEEE Transactions on Industrial Informatics， 2022， 18（11）： 7686-7695.
[33]	ZHANG C， ZOU Y， DIMYADI J， et al. Thermal-textured BIM generation for building energy audit with UAV image fusion and histogram-based enhancement［J］. Energy and Buildings， 2023， 301： 113710.
[34]	WANG P J， XIAO J Z， QIANG X X， et al. An automatic building façade deterioration detection system using infrared-visible image fusion and deep learning［J］. Journal of Building Engineering， 2024， 95： 110122.
[35]	ZHAO Z X， BAI H W， ZHU Y Z， et al. DDFM： Denoising diffusion model for multi-modality image fusion［C］‍∥2023 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2023： 8048-8059.
[36]	LI H， WU X J. DenseFuse： A fusion approach to infrared and visible images［J］. IEEE Transactions on Image Processing， 2019， 28（5）： 2614-2623.
[37]	LI H， WU X J， DURRANI T. NestFuse： An infrared and visible image fusion architecture based on nest connection and spatial/channel attention models［J］. IEEE Transactions on Instrumentation and Measurement， 2020， 69（12）： 9645-9656.
[38]	LI H， WU X J， KITTLER J. RFN-Nest： An end-to-end residual fusion network for infrared and visible images［J］. Information Fusion， 2021， 73： 72-86.
[39]	LIN T Y， MAIRE M， BELONGIE S， et al. Microsoft COCO： Common objects in context［C］‍∥European Conference on Computer Vision. Cham： Springer， 2014： 740-755.
[40]	XU H， ZHANG H， MA J Y. Classification saliency-based rule for visible and infrared image fusion［J］. IEEE Transactions on Computational Imaging， 2021， 7： 824-836.
[41]	JIAN L H， YANG X M， LIU Z， et al. SEDRFuse： A symmetric encoder–decoder with residual block network for infrared and visible image fusion［J］. IEEE Transactions on Instrumentation and Measurement， 2020， 70： 5002215.
[42]	LIU J Y， FAN X， JIANG J， et al. Learning a deep multi-scale feature ensemble and an edge-attention guidance for image fusion［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（1）： 105-119.
[43]	ZHAO Z X， XU S， ZHANG J S， et al. Efficient and model-based infrared and visible image fusion via algorithm unrolling［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（3）： 1186-1196.
[44]	ZHAO Z X， XU S， ZHANG C X， et al. DIDFuse： Deep image decomposition for infrared and visible image fusion‍［DB/OL］. arXiv preprint： 2003. 09210， 2020.
[45]	ZHAO Z X， BAI H W， ZHANG J S， et al. CDDFuse： Correlation-driven dual-branch feature decomposition for multi-modality image fusion［C］‍∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 5906-5916.
[46]	XU H， GONG M Q， TIAN X， et al. CUFD： An encoder-decoder network for visible and infrared image fusion based on common and unique feature decomposition［J］. Computer Vision and Image Understanding， 2022， 218： 103407.
[47]	徐涵，梅晓光，樊凡，等. 信息分离和质量引导的红外与可见光图像融合［J］. 中国图象图形学报， 2022， 27（11）： 3316-3330.
	XU H， MEI X G， FAN F， et al. Information decomposition and quality guided infrared and visible image fusion［J］. Journal of Image and Graphics， 2022， 27（11）： 3316-3330 （in Chinese）.
[48]	XU H， WANG X Y， MA J Y. DRF： Disentangled representation for visible and infrared image fusion［J］. IEEE Transactions on Instrumentation and Measurement， 2021， 70： 5006713.
[49]	LUO X Q， GAO Y H， WANG A Q， et al. IFSepR： A general framework for image fusion based on separate representation learning［J］. IEEE Transactions on Multimedia， 2021， 25： 608-623.
[50]	WANG Z S， WANG J Y， WU Y Y， et al. UNFusion： A unified multi-scale densely connected network for infrared and visible image fusion［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（6）： 3360-3374.
[51]	XU H， MA J， JIANG J， et al. U2Fusion： A unified unsupervised image fusion network［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（1）： 502-518.
[52]	LONG Y Z， JIA H T， ZHONG Y D， et al. RXDNFuse： A aggregated residual dense network for infrared and visible image fusion［J］. Information Fusion， 2021， 69： 128-141.
[53]	HOU R C， ZHOU D M， NIE R C， et al. VIF-Net： An unsupervised framework for infrared and visible image fusion［J］. IEEE Transactions on Computational Imaging， 2020， 6： 640-651.
[54]	ZHAO F， ZHAO W D， YAO L B， et al. Self-supervised feature adaption for infrared and visible image fusion［J］. Information Fusion， 2021， 76： 189-203.
[55]	LIANG P， JIANG J， LIU X， et al. Fusion from decomposition： A self-supervised decomposition approach for image fusion［C］‍∥European Conference on Computer Vision. Cham： Springer， 2022： 719-735.
[56]	LI J T， NIE R C， CAO J D， et al. LRFE-CL： A self-supervised fusion network for infrared and visible image via low redundancy feature extraction and contrastive learning［J］. Expert Systems with Applications， 2024， 251： 124125.
[57]	WANG X， GUAN Z， QIAN W， et al. CS²Fusion： Contrastive learning for Self-Supervised infrared and visible image fusion by estimating feature compensation map［J］. Information Fusion， 2024， 102： 102039.
[58]	MA J Y， TANG L F， XU M L， et al. STDFusionNet： An infrared and visible image fusion network based on salient target detection［J］. IEEE Transactions on Instrumentation and Measurement， 2021， 70： 5009513.
[59]	ZHU D P， ZHAN W D， JIANG Y C， et al. IPLF： A novel image pair learning fusion network for infrared and visible image［J］. IEEE Sensors Journal， 2022， 22（9）： 8808-8817.
[60]	WANG X， GUAN Z， YU S S， et al. Infrared and visible image fusion via decoupling network‍［J］. IEEE Transactions on Instrumentation and Measurement， 2022， 71： 2521213.
[61]	TANG L F， YUAN J T， MA J Y. Image fusion in the loop of high-level vision tasks： A semantic-aware real-time infrared and visible image fusion network［J］. Information Fusion， 2022， 82： 28-42.
[62]	SUN Y M， CAO B， ZHU P F， et al. DetFusion： A detection-driven infrared and visible image fusion network［C］‍∥Proceedings of the 30th ACM International Conference on Multimedia. New York： ACM， 2022： 4003-4011.
[63]	TANG L F， ZHANG H， XU H， et al. Rethinking the necessity of image fusion in high-level vision tasks： A practical infrared and visible image fusion network based on progressive semantic injection and scene fidelity［J］. Information Fusion， 2023， 99： 101870.
[64]	LIU X W， HUO H T， LI J， et al. A semantic-driven coupled network for infrared and visible image fusion［J］. Information Fusion， 2024， 108： 102352.
[65]	ZHAO W D， XIE S G， ZHAO F， et al. MetaFusion： Infrared and visible image fusion via meta-feature embedding from object detection［C］‍∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 13955-13965.
[66]	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16x16 words： Transformers for image recognition at scale［DB/OL］. arXiv preprints： 2010.11929， 2020.
[67]	WANG Z， CHEN Y， SHAO W， et al. SwinFuse： A residual swin transformer fusion network for infrared and visible images［J］. IEEE Transactions on Instrumentation and Measurement， 2022， 71： 5016412 .
[68]	GUO J Y， HAN K， WU H， et al. CMT： Convolutional neural networks meet vision transformers‍［C］‍∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 12165-12175.
[69]	YUAN K， GUO S P， LIU Z W， et al. Incorporating convolution designs into visual transformers‍［C］‍∥2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2021： 559-568.
[70]	KHAN A， RAUF Z， SOHAIL A， et al. A survey of the vision transformers and their CNN-transformer based variants［J］. Artificial Intelligence Review， 2023， 56（3）： 2917-2970.
[71]	CHANG Z H， FENG Z X， YANG S Y， et al. AFT： Adaptive fusion transformer for visible and infrared images［J］. IEEE Transactions on Image Processing， 2023， 32： 2077-2092.
[72]	LI J， YANG B， BAI L， et al. TFIV： Multigrained token fusion for infrared and visible image via transformer［J］. IEEE Transactions on Instrumentation and Measurement， 2023， 72： 2526414.
[73]	MA J Y， TANG L F， FAN F， et al. SwinFusion： Cross-domain long-range learning for general image fusion via swin transformer［J］. IEEE/CAA Journal of Automatica Sinica， 2022， 9（7）： 1200-1217.
[74]	CHEN J， DING J F， YU Y， et al. THFuse： An infrared and visible image fusion network using transformer and hybrid feature extractor‍［J］. Neurocomputing， 2023， 527： 71-82.
[75]	LI B C， LU J X， LIU Z F， et al. SBIT-Fuse： Infrared and visible image fusion based on Symmetrical Bilateral interaction and Transformer［J］. Infrared Physics & Technology， 2024， 138： 105269.
[76]	PARK S， VIEN A G， LEE C. Cross-modal transformers for infrared and visible image fusion［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2024， 34（2）： 770-785.
[77]	TANG W， HE F Z， LIU Y. TCCFusion： An infrared and visible image fusion method based on transformer and cross correlation‍［J］. Pattern Recognition， 2023， 137： 109295.
[78]	JIN H Y， YANG Y， SU H N， et al. Low light RGB and IR image fusion with selective CNN-transformer network［C］‍∥2023 IEEE International Conference on Image Processing （ICIP）. Piscataway： IEEE Press， 2023： 1255-1259.
[79]	ZHAO Y Y， ZHENG Q C， ZHU P H， et al. TUFusion： A transformer-based universal fusion algorithm for multimodal images［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2024， 34（3）： 1712-1725.
[80]	LI J， ZHU J M， LI C， et al. CGTF： Convolution-guided transformer for infrared and visible image fusion［J］. IEEE Transactions on Instrumentation and Measurement， 2022， 71： 5012314.
[81]	TANG W， HE F Z， LIU Y， et al. DATFuse： Infrared and visible image fusion via dual attention transformer［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2023， 33（7）： 3159-3172.
[82]	YANG X， HUO H T， WANG R H， et al. DGLT-Fusion： A decoupled global-local infrared and visible image fusion transformer［J］. Infrared Physics & Technology， 2023， 128： 104522.
[83]	WANG Z S， YANG F， SUN J， et al. AITFuse： Infrared and visible image fusion via adaptive interactive transformer learning［J］. Knowledge-Based Systems， 2024， 299： 111949.
[84]	MA J Y， YU W， LIANG P W， et al. FusionGAN： A generative adversarial network for infrared and visible image fusion［J］. Information Fusion， 2019， 48： 11-26.
[85]	FU Y， WU X J， DURRANI T. Image fusion based on generative adversarial network consistent with perception［J］. Information Fusion， 2021， 72： 110-125.
[86]	MA J Y， ZHANG H， SHAO Z F， et al. GANMcC： A generative adversarial network with multiclassification constraints for infrared and visible image fusion［J］. IEEE Transactions on Instrumentation and Measurement， 2020， 70： 5005014.
[87]	MA J Y， LIANG P W， YU W， et al. Infrared and visible image fusion via detail preserving adversarial learning［J］. Information Fusion， 2020， 54： 85-98.
[88]	RAO Y J， WU D， HAN M N， et al. AT-GAN： A generative adversarial network with attention and transition for infrared and visible image fusion［J］. Information Fusion， 2023， 92： 336-349.
[89]	CHANG L， HUANG Y D， LI Q F， et al. DUGAN： Infrared and visible image fusion based on dual fusion paths and a U-type discriminator［J］. Neurocomputing， 2024， 578： 127391.
[90]	MA J Y， XU H， JIANG J J， et al. DDcGAN： A dual-discriminator conditional generative adversarial network for multi-resolution image fusion［J］. IEEE Transactions on Image Processing， 2020， 29： 4980-4995.
[91]	ZHOU H B， WU W， ZHANG Y D， et al. Semantic-supervised infrared and visible image fusion via a dual-discriminator generative adversarial network［J］. IEEE Transactions on Multimedia， 2021， 25： 635-648.
[92]	ZHANG H， YUAN J T， TIAN X， et al. GAN-FM： Infrared and visible image fusion using GAN with full-scale skip connection and dual Markovian discriminators［J］. IEEE Transactions on Computational Imaging， 2021， 7： 1134-1147.
[93]	LI J， HUO H T， LI C， et al. AttentionFGAN： Infrared and visible image fusion using attention-based generative adversarial networks［J］. IEEE Transactions on Multimedia， 2020， 23： 1383-1396.
[94]	LIU J Y， FAN X， HUANG Z B， et al. Target-aware dual adversarial learning and a multi-scenario multi-modality benchmark to fuse infrared and visible for object detection‍［C］‍∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 5792-5801.
[95]	SONG A Y， DUAN H X， PEI H D， et al. Triple-discriminator generative adversarial network for infrared and visible image fusion‍［J］. Neurocomputing， 2022， 483： 183-194.
[96]	REN L， PAN Z B， CAO J Z， et al. Infrared and visible image fusion based on variational auto-encoder and infrared feature compensation［J］. Infrared Physics & Technology， 2021， 117： 103839.
[97]	DUFFHAUSS F， VIEN N A， ZIESCHE H， et al. FusionVAE： A deep hierarchical variational autoencoder for RGB image fusion‍［C］‍∥European Conference on Computer Vision. Cham： Springer， 2022： 674-691.
[98]	闫志浩，周长兵，李小翠. 生成扩散模型研究综述［J］. 计算机科学， 2024， 51（1）： 273-283.
	YAN Z H， ZHOU Z B， LI X C. Survey on generative diffusion model［J］. Computer Science， 2024， 51（1）： 273-283 （in Chinese）.
[99]	CAO H Q， TAN C， GAO Z Y， et al. A survey on generative diffusion models‍［J］. IEEE Transactions on Knowledge and Data Engineering， 2024， 36（7）： 2814-2830.
[100]	CROITORU F A， HONDRU V， IONESCU R T， et al. Diffusion models in vision： A survey［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（9）： 10850-10869.
[101]	YANG L， ZHANG Z L， SONG Y， et al. Diffusion models： A comprehensive survey of methods and applications［J］. ACM Computing Surveys， 2023， 56（4）：1-39.
[102]	YI X P， TANG L F， ZHANG H， et al. Diff-IF： Multi-modality image fusion via diffusion model with fusion knowledge prior‍［J］. Information Fusion， 2024， 110： 102450.
[103]	LI M N， PEI R H， ZHENG T Y， et al. FusionDiff： Multi-focus image fusion using denoising diffusion probabilistic models‍［J］. Expert Systems with Applications， 2024， 238： 121664.
[104]	YUE J， FANG L Y， XIA S B， et al. Dif-Fusion： Toward high color fidelity in infrared and visible image fusion with diffusion models［J］. IEEE Transactions on Image Processing， 2023， 32： 5705-5720.
[105]	TANG L F， DENG Y X， YI X P， et al. DRMF： Degradation-robust multi-modal image fusion via composable diffusion prior‍［C］‍∥Proceedings of the 32nd ACM International Conference on Multimedia. New York： ACM， 2024： 8546-8555.
[106]	YANG B， JIANG Z H， PAN D， et al. LFDT-Fusion： A latent feature-guided diffusion Transformer model for general image fusion‍［J］. Information Fusion， 2025， 113： 102639.
[107]	孙彬，高云翔，诸葛吴为，等. 可见光与红外图像融合质量评价指标分析［J］. 中国图象图形学报， 2023， 28（1）： 144-155.
	SUN B， GAO Y X， ZHUGE W W， et al. Analysis of quality objective assessment metrics for visible and infrared image fusion‍［J］. Journal of Image and Graphics， 2023， 28（1）： 144-155 （in Chinese）.
[108]	HAN Y， CAI Y Z， CAO Y， et al. A new image fusion performance metric based on visual information fidelity［J］. Information Fusion， 2013， 14（2）： 127-135.

判别式融合方法	特征表示	融合策略	监督方式	训练方式	复杂度	效率
AE	特征降维	人工为主	自监督	非端到端为主	低	高
CNN	局部特征	人工/学习	无监督/自监督/有监督	非端到端/端到端	中	中
Transformer	全局特征	人工/学习	无监督/自监督/有监督	非端到端/端到端	高	低

生成式融合方法	估计原理	估计方式	融合策略	生成质量	训练方式	复杂度	训练稳定性	效率
VAE	变分推理	显示	学习	低	端到端	低	稳定	高
GAN	对抗训练	隐式	学习	高	端到端	中	不稳定	中
Diffusion	随机过程	隐式	人工/学习	高	端到端/非端到端	高	较稳定	低

数据集	方法	类型	AG↑	Qabf↑	SD↑	VIF↑
BOOSS	DenseFuse	AE	4.659	0.812	38.829	1.175
	DIDFuse	AE	4.611	0.736	45.147	1.120
	U2Fusion	CNN	5.094	0.753	39.413	1.070
	DeFusion	CNN	3.190	0.315	23.517	0.904
	STDFusionNet	CNN	5.122	0.821	44.402	1.169
	SeAFusion	CNN	4.900	0.723	37.887	1.012
	SwinFuse	Transformer	5.094	0.825	49.793	1.269
	SwinFusion	Transformer	5.016	0.822	39.204	1.111
	FusionGAN	GAN	3.462	0.220	19.378	0.865
	GAN-FM	GAN	5.517	0.669	40.298	1.083
	Diff-IF	Diffusion	4.621	0.646	36.001	1.002
	DDFM	Diffusion	2.802	0.210	34.911	1.100
FireMan	DenseFuse	AE	2.597	0.692	39.923	1.089
	DIDFuse	AE	2.543	0.559	50.556	0.991
	U2Fusion	CNN	3.078	0.691	40.714	0.932
	DeFusion	CNN	2.271	0.431	33.644	0.847
	STDFusionNet	CNN	2.329	0.405	45.883	1.142
	SeAFusion	CNN	3.082	0.647	46.375	1.005
	SwinFuse	Transformer	2.647	0.626	51.177	1.119
	SwinFusion	Transformer	2.609	0.493	43.848	1.046
	FusionGAN	GAN	2.005	0.126	28.352	0.788
	GAN-FM	GAN	2.933	0.536	45.981	1.060
	Diff-IF	Diffusion	2.688	0.533	43.600	0.989
	DDFM	Diffusion	2.247	0.280	39.225	1.033
VTUAV	DenseFuse	AE	3.149	0.476	40.572	0.681
	DIDFuse	AE	3.478	0.438	57.225	0.663
	U2Fusion	CNN	3.838	0.537	42.224	0.661
	DeFusion	CNN	2.955	0.396	39.211	0.677
	STDFusionNet	CNN	3.542	0.496	50.262	0.764
	SeAFusion	CNN	3.756	0.532	48.173	0.762
	SwinFuse	Transformer	3.401	0.436	61.139	0.685
	SwinFusion	Transformer	3.675	0.546	47.659	0.748
	FusionGAN	GAN	2.891	0.272	33.117	0.509
	GAN-FM	GAN	3.685	0.464	51.469	0.823
	Diff-IF	Diffusion	3.734	0.507	46.214	0.811
	DDFM	Diffusion	2.531	0.119	40.168	0.188

方法	参数量/10⁶	运行时间/s
方法	参数量/10⁶	VTUAV	BOOSS	FireMan
DenseFuse	0.222 6	0.198 1±0.021 9	0.208 7±0.022 8	0.206 8±0.022 4
DIDFuse	0.260 9	0.070 6±0.002 0	0.078 4±0.003 2	0.091 9±0.003 1
U2Fusion	0.659 2	0.051 4±0.002 8	0.059 2±0.003 2	0.073 7±0.003 5
DeFusion	7.874 5	0.329 8±0.022 4	0.431 1±0.028 1	0.400 8±0.059 1
STDFusion-Net	0.282 5	0.035 1±0.001 1	0.039 5±0.001 4	0.049 2±0.001 5
SeAFusion	0.166 9	0.002 8±0.000 1	0.003 0±0.000 4	0.003 6±0.000 3
SwinFuse	2.021 2	0.308 1±0.033 6	0.405 9±0.006 8	0.540 5±0.055 7
SwinFusion	0.973 7	1.849 7±0.077 8	2.011 5±0.062 5	2.739 3±0.106 5
FusionGAN	1.326 4	0.052 8±0.004 9	0.061 6±0.005 5	0.077 3±0.005 2
GAN-FM	15.075 4	0.558 8±0.035 6	0.537 0±0.030 7	0.573 6±0.034 1
Diff-IF	23.713 0	1.219 9±0.004 5	1.379 4±0.005 7	1.721 7±0.008 8
DDFM	552.663 0	18.824 7±0.531 5	22.569 2±0.586 7	29.354 2±0.386 8

Dual-band payload image fusion and its applications in low-altitude remote sensing

RichHTML

PDF (PC)

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 19

References 108

Related Articles 15

Recommended Articles

Metrics

Comments

[1]	Jianyu XU, Li ZHOU, Zhanxue WANG, Jie SHI, Hao SHI. Calculation method for hypersonic plume infrared radiation based on a fast line-by-line calculation model [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(8): 630778-630778.
[2]	Lingjie MENG, Hongguang LI, Xinjun LI. SAR image simulation method guided by geomorphic category information [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(7): 331003-331003.
[3]	Zhihao ZHAO, Zhaohua YANG, Yun WU, Yuanjin YU. Single-photon counting imaging denoising method based on deep learning in low-light environment [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(3): 630531-630531.
[4]	Fujie WU, Bowen WANG, Jingya QI, Mingzhi CAO, Yingjun SANG, Sheng LI, Yuzhen ZHANG, Qian CHEN, Chao ZUO. A review of airborne multi-aperture panoramic image compositing [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(3): 630505-630505.
[5]	Yiquan WU, Kang TONG. Research advances on deep learning-based small object detection in UAV aerial images [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(3): 30848-030848.
[6]	Fanteng MENG, Yong QIN, Jing CUI, Yunpeng WU, Zicheng ZHANG, Shaowei WEI. Unknown risk detection in external environment of railroad using UAV images [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(11): 531262-531262.
[7]	Weishi CHEN, Hongchuang NIU, Xin WANG, Jian WAN, Xianfeng LU, Jie ZHANG, Qingbin WANG. Review on multi-source detection technologies for birds and drones in airport clearance area [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(10): 31251-031251.
[8]	Jie LIN, Zhigong TANG, Weiqi QIAN, Yueqing WANG, Peng ZHANG, Weixia XU, Jie LIU. Research progress and prospects of aircraft aerodynamic design based on generative models [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(10): 631679-631679.
[9]	Yonghai WANG, Haoge LI, Jiaxin LI, Yi DUAN, Chuan TIAN, Lingxi GUO, Xusheng WU. Rapid aircraft shape generation based on deep learning [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(10): 631614-631614.
[10]	Jiaqi LIU, Rongqian CHEN, Jinhua LOU, Xu HAN, Hao WU, Yancheng YOU. Aerodynamic shape optimization of high-speed helicopter rotor airfoil based on deep learning [J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(9): 529828-529828.
[11]	Xudong LUO, Yiquan WU, Jinlin CHEN. Research progress on deep learning methods for object detection and semantic segmentation in UAV aerial images [J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(6): 28822-028822.
[12]	Haiqiao LIU, Meng LIU, Zichao GONG, Jing DONG. A review of image matching methods based on deep learning [J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(3): 28796-028796.
[13]	Yueteng WU, Dun BA, Juan DU, Yunfei LI, Juntao CHANG. Compressor flow field reconstruction method based on deep attention networks [J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(24): 630580-630580.
[14]	Zi WANG, Jinghao WANG, Yang LI, Zhang LI, Qifeng YU. Non-cooperative target pose estimation from monocular images based on lightweight neural network [J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(22): 330248-330248.
[15]	Tiancai WU, Honglun WANG, Bin REN, Guocheng YAN, Xingyu WU. Learning-based hierarchical coordination fault-tolerant method for hypersonic vehicles [J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(22): 330191-330191.