机载多孔径全景图像合成技术研究进展

doi:10.7527/S1000-6893.2024.30505

深空光电测量与智能感知技术专栏

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

机载多孔径全景图像合成技术研究进展

吴付杰¹^,², 王博文¹^,²(), 齐静雅³, 曹铭智¹^,², 桑英俊¹^,², 李晟¹^,², 张玉珍¹^,², 陈钱¹^,², 左超¹^,²

^1.南京理工大学电子工程与光电技术学院智能计算成像实验室，南京 210094
^2.江苏省光谱成像与智能感知重点实验室，南京 210094
^3.北京控制工程研究所空间光电测量与感知实验室，北京 100190

收稿日期:2024-04-10 修回日期:2024-06-21 接受日期:2024-07-01 出版日期:2024-07-17 发布日期:2024-07-12
通讯作者: 王博文 E-mail:wangbowen@njust.edu.cn
基金资助:
国家自然科学基金(U21B2033);光电测量与智能感知中关村开放实验室与北京控制工程研究所空间光电测量与感知实验室开放基金(LabSOMP-2022-05);国家重点研发计划(2022YFA1205002);江苏省基础研究计划前沿引领专项(BK20192003);江苏省科技计划重点国别产业技术研发合作项目(BZ2022039)

A review of airborne multi-aperture panoramic image compositing

Fujie WU¹^,², Bowen WANG¹^,²(), Jingya QI³, Mingzhi CAO¹^,², Yingjun SANG¹^,², Sheng LI¹^,², Yuzhen ZHANG¹^,², Qian CHEN¹^,², Chao ZUO¹^,²

^1.Smart Computational Imaging Laboratory，School of Electronic and Optical Engineering，Nanjing University of Science and Technology，Nanjing 210094，China
^2.Jiangsu Key Laboratory of Spectral Imaging and Intelligent Sense，Nanjing 210094，China
^3.Space Optoelectronic Measurement and Perception Lab，Beijing Institute of Control Engineering，Beijing 100190，China

Received:2024-04-10 Revised:2024-06-21 Accepted:2024-07-01 Online:2024-07-17 Published:2024-07-12
Contact: Bowen WANG E-mail:wangbowen@njust.edu.cn
Supported by:
National Natural Science Foundation of China(U21B2033);Optoelectronic Measurement and Intelligent Perception Zhongguancun Open Lab., and Space Optoelectronic Measurement and Perception Lab., Beijing Institute of Control Engineering(LabSOMP-2022-05);National Key Research and Development Program of China(2022YFA1205002);Leading Technology of Jiangsu Basic Research Plan(BK20192003);Key National Industrial Technology Cooperation Foundation of Jiangsu Province(BZ2022039)

摘要/Abstract

摘要：

机载多孔径全景图像合成技术通过对多个子孔径或传感器的图像拼接合成，实现广域高分辨、高空间带宽图像重建，在国防安全、农林领域、数字监控等多个关键领域发挥着重要作用。介绍了机载多孔径全景图像合成技术的发展背景，阐述全景图像合成的基本概念和步骤，对其核心部分图像配准技术和图像融合技术的分类和发展脉络进行梳理，同时总结了目前主流方法的特点和局限性。最后对目前机载多孔径全景图像合成技术的发展现状进行归纳总结，揭示了当前机载多孔径全景图像合成技术存在的瓶颈问题，此外展望了未来的研究方向以及解决这些问题可能的技术途径，为相关领域的技术进步和应用拓展提供了有益的启示。

关键词: 全景图像合成, 图像配准, 图像融合, 多孔径探测, 无人机遥感

Abstract:

The airborne multi-aperture panoramic image compositing technology generates panoramic images with high resolution and rich details by stitching images from multiple sub-aperture or sensors， and plays an important role in many key fields such as national defense and security， agriculture and forestry， and digital surveillance. This paper introduces the development background of airborne multi-aperture panoramic image compositing technology， expounds the basic concepts and steps of panoramic image compositing， sorts out the classification and development of its core technologies--image registration technology and image fusion technology， and summarizes the characteristics and limitations of current mainstream methods. Finally， based on an analysis of the current development status of airborne multi-aperture panoramic image compositing technology， the bottleneck problems of the technology are revealed. The future research directions and possible technical ways to solve these problems are also proposed to provide useful enlightenment for the technological progress and application expansion in this field.

Key words: panoramic image compositing, image registration, image fusion, multi-aperture detection, unmanned aerial vehicle remote sensing

中图分类号:

V219

吴付杰, 王博文, 齐静雅, 曹铭智, 桑英俊, 李晟, 张玉珍, 陈钱, 左超. 机载多孔径全景图像合成技术研究进展[J]. 航空学报, 2025, 46(3): 630505.

Fujie WU, Bowen WANG, Jingya QI, Mingzhi CAO, Yingjun SANG, Sheng LI, Yuzhen ZHANG, Qian CHEN, Chao ZUO. A review of airborne multi-aperture panoramic image compositing[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(3): 630505.

图/表 16

图 1

图 2

图 3

图 4

图 5

图 6

图 7

图 8

图 9

图 10

图 11

图 12

图 13

图 14

图 15

图 16

参考文献 140

1	李晟，王博文，管海涛，等. 远场合成孔径计算光学成像技术：文献综述与最新进展［J］. 光电工程， 2023， 50（10）： 230090.
	LI S， WANG B W， GUAN H T， et al. Far-field computational optical imaging techniques based on synthetic aperture： a review［J］. Opto-Electronic Engineering， 2023， 50（10）： 230090 （in Chinese）.
2	左超，陈钱. 分辨率、超分辨率与空间带宽积拓展：从计算光学成像角度的一些思考［J］. 中国光学（中英文）， 2022， 15（6）： 1105-1166.
	ZUO C， CHEN Q. Resolution， super-resolution and spatial bandwidth product expansion： Some thoughts from the perspective of computational optical imaging［J］. Chinese Optics， 2022， 15（6）： 1105-1166 （in Chinese）.
3	左超，陈钱. 计算光学成像：何来，何处，何去，何从？［J］. 红外与激光工程， 2022， 51（2）： 3788/IRLA20220110.
	ZUO C， CHEN Q. Computational optical imaging： An overview［J］. Infrared and Laser Engineering， 2022， 51（2）： 3788/IRLA20220110 （in Chinese）.
4	LI Z Q， ISLER V. Large scale image mosaic construction for agricultural applications［J］. IEEE Robotics and Automation Letters， 2016， 1（1）： 295-302.
5	GUI Z C， LI H F. Automated defect detection and visualization for the robotic airport runway inspection［J］. IEEE Access， 2020， 8： 76100-76107.
6	DAVID JENKINS M， BUGGY T， MORISON G. An imaging system for visual inspection and structural condition monitoring of railway tunnels［C］∥2017 IEEE Workshop on Environmental， Energy， and Structural Monitoring Systems （EESMS）. Piscataway： IEEE Press， 2017： 1-6.
7	LI M， LI D， FAN D. A study on automatic UAV image mosaic method for paroxysmal disaster［J］. The International Archives of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2012， XXXIX-B6： 123-128.
8	IVEZIĆ Ž， CONNOLLY A J， JURIĆ M. Everything we’d like to do with LSST data， but we don’t know （yet） how［J］. Proceedings of the International Astronomical Union， 2016， 12（S325）： 93-102.
9	NEILL D， ANGELI G， CLAVER C， et al. Overview of the LSST active optics system［J］. Proceedings of SPIE， 2014， 9150： 143-158.
10	YUAN X Y， FANG L， DAI Q H， et al. Multiscale gigapixel video： A cross resolution image matching and warping approach［C］∥2017 IEEE International Conference on Computational Photography （ICCP）. Piscataway： IEEE Press， 2017： 1-9.
11	YUAN X Y， JI M Q， WU J M， et al. A modular hierarchical array camera［J］. Light， Science & Applications， 2021， 10（1）： 37.
12	LLULL P， BANGE L， PHILLIPS Z， et al. Characterization of the AWARE 40 wide-field-of-view visible imager［J］. Optica， 2015， 2（12）： 1086.
13	刘飞，刘佳维，邵晓鹏. 高集成度小型化共心多尺度光学系统设计［J］. 光学精密工程， 2020， 28（6）： 1275-1282.
	LIU F， LIU J W， SHAO X P. Design of high integration and miniaturization concentric multiscale optical system［J］. Optics and Precision Engineering， 2020， 28（6）： 1275-1282 （in Chinese）.
14	方璐，戴琼海. 计算光场成像［J］. 光学学报， 2020， 40（1）： 0111001.
	FANG L， DAI Q H. Computational light field imaging［J］. Acta Optica Sinica， 2020， 40（1）： 0111001 （in Chinese）.
15	邵晓鹏，刘飞，李伟，等. 计算成像技术及应用最新进展［J］. 激光与光电子学进展， 2020， 57（2）： 11-55.
	SHAO X P， LIU F， LI W， et al. Latest progress in computational imaging technology and application［J］. Laser & Optoelectronics Progress， 2020， 57（2）： 11-55 （in Chinese）.
16	周亮，刘凯，刘朝晖，等. 光学复用大视场成像研究［J］. 光子学报， 2020， 49（9）： 132-138.
	ZHOU L， LIU K， LIU Z H， et al. Optically multiplexed imaging for increased field of view［J］. Acta Photonica Sinica， 2020， 49（9）： 132-138 （in Chinese）.
17	WANG B W， LI S， CHEN Q， et al. Learning-based single-shot long-range synthetic aperture Fourier ptychographic imaging with a camera array［J］. Optics Letters， 2023， 48（2）： 263-266.
18	YANG F， WU J C， GAO Y H， et al. A four-aperture super-resolution camera based on adaptive regularization parameter tuning［J］. Optics and Lasers in Engineering， 2023， 165： 107562.
19	HOLLOWAY J， ASIF M S， SHARMA M K， et al. Toward long-distance subdiffraction imaging using coherent camera arrays［J］. IEEE Transactions on Computational Imaging， 2016， 2（3）： 251-265.
20	李树涛，李聪妤，康旭东. 多源遥感图像融合发展现状与未来展望［J］. 遥感学报， 25（1）： 148-166.
	LI S T， LI C Y， KANG X D. Development status and future prospects of multi-source remote sensing image fusion［J］. National Remote Sensing Bulletin， 25（1）： 148-166 （in Chinese）.
21	李赛，尹球，胡勇，等. 基于SPHP的推扫式高光谱航空影像拼接［J］. 红外与毫米波学报， 2021， 40（1）： 64-73.
	LI S， YIN Q， HU Y， et al. A push-sweep hyperspectral aerial image Mosaic method based on SPHP［J］. Journal of Infrared and Millimeter Waves， 2021， 40（1）： 64-73 （in Chinese）.
22	李俊杰，姜涛，傅俏燕. “高分一号” 卫星多光谱宽幅相机影像合成［J］. 航天返回与遥感， 2020， 41（5）： 95-101.
	LI J J， JIANG T， FU Q Y. Cloud-free image composite of GF-1 wide field of view camera［J］. Spacecraft Recovery & Remote Sensing， 2020， 41（5）： 95-101 （in Chinese）.
23	易俐娜，许筱，张桂峰，等. 轻小型无人机高光谱影像拼接研究［J］. 光谱学与光谱分析， 2019， 39（6）： 1885-1891.
	YI L N， XU X， ZHANG G F， et al. Light and small UAV hyperspectral image mosaicking［J］. Spectroscopy and Spectral Analysis， 2019， 39（6）： 1885-1891 （in Chinese）.
24	WANG B W， ZOU Y， ZHANG L F， et al. Multimodal super-resolution reconstruction of infrared and visible images via deep learning［J］. Optics and Lasers in Engineering， 2022， 156： 107078.
25	CHANDEL R， GUPTA G. Image filtering algorithms and techniques： A review［J］. International Journal of Advanced Research in Computer Science and Software Engineering， 2013， 3（10）： 1-10.
26	BANG S， KIM H， KIM H. UAV-based automatic generation of high-resolution panorama at a construction site with a focus on preprocessing for image stitching［J］. Automation in Construction， 2017， 84： 70-80.
27	VAIDYA O S， GANDHE S T. The study of preprocessing and postprocessing techniques of image stitching［C］∥2018 International Conference on Advances in Communication and Computing Technology （ICACCT）. Piscataway： IEEE Press， 2018： 431-435.
28	周前飞，刘晶红，居波，等. 面阵CCD航空相机斜视图像的几何校正［J］. 液晶与显示， 2015， 30（3）： 505-513.
	ZHOU Q F， LIU J H， JU B， et al. Geometric correction of oblique images for array CCD aerial cameras［J］. Chinese Journal of Liquid Crystals and Displays， 2015， 30（3）： 505-513 （in Chinese）.
29	LIU B， XIAO Q， ZHANG Y H， et al. Intelligent recognition method of low-altitude squint optical ship target fused with simulation samples［J］. Remote Sensing， 2021， 13（14）： 2697.
30	BROWN L G. A survey of image registration techniques［J］. ACM Computing Surveys， 1992， 24（4）： 325-376.
31	ZITOVÁ B， FLUSSER J. Image registration methods： A survey［J］. Image and Vision Computing， 2003， 21（11）： 977-1000.
32	WANG Z J， ZIOU D， ARMENAKIS C， et al. A comparative analysis of image fusion methods［J］. IEEE Transactions on Geoscience and Remote Sensing， 2005， 43（6）： 1391-1402.
33	KAUR H， KOUNDAL D， KADYAN V. Image fusion techniques： A survey［J］. Archives of Computational Methods in Engineering， 2021， 28（7）： 4425-4447.
34	XIONG Z， ZHANG Y. A critical review of image registration methods［J］. International Journal of Image and Data Fusion， 2010， 1（2）： 137-158.
35	RAO Y R， PRATHAPANI N， NAGABHOOSHANAM E. Application of normalized cross correlation to image registration［J］. International Journal of Research in Engineering and Technology， 2014， 3（5）： 12-16.
36	KYBIC J， UNSER M. Fast parametric elastic image registration［J］. IEEE Transactions on Image Processing， 2003， 12（11）： 1427-1442.
37	BARNEA D I， SILVERMAN H F. A class of algorithms for fast digital image registration［J］. IEEE Transactions on Computers， 1972， C-21（2）： 179-186.
38	KUGLIN C D， HINES D C. The phase correlation image alignment method［C］∥IEEE International Conference on Cybernetics and Society， 1975： 163-165.
39	DE CASTRO E， MORANDI C. Registration of translated and rotated images using finite Fourier transforms［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1987， PAMI-9（5）： 700-703.
40	杨必武，郭晓松，赵敬民，等. 基于小波变换的视差图像全局几何配准新算法［J］. 光子学报， 2007， 36（3）： 574-576.
	YANG B W， GUO X S， ZHAO J M， et al. An algorithm on geometric global registration of parallax images based on wavelet transform［J］. Acta Photonica Sinica， 2007， 36（3）： 574-576 （in Chinese）.
41	李培，姜刚，马千里，等. 结合张量与互信息的混合模型多模态图像配准方法［J］. 测绘学报， 2021， 50（7）： 916-929.
	LI P， JIANG G， MA Q L， et al. A hybrid model combining tensor and mutual information for multi-modal image registration［J］. Acta Geodaetica et Cartographica Sinica， 2021， 50（7）： 916-929 （in Chinese）.
42	凌志刚，潘泉，程咏梅，等. 一种结合梯度方向互信息和多分辨混合优化的多模图像配准方法［J］. 光子学报， 2010， 39（8）： 1359-1366.
	LING Z G， PAN Q， CHENG Y M， et al. A multimodal image registration method combining gradient orientation mutual information with multi-resolution hybrid optimization algorithm［J］. Acta Photonica Sinica， 2010， 39（8）： 1359-1366 （in Chinese）.
43	吴泽鹏，郭玲玲，朱明超，等. 结合图像信息熵和特征点的图像配准方法［J］. 红外与激光工程， 2013， 42（10）： 2846-2852.
	WU Z P， GUO L L， ZHU M C， et al. Improved image registration using feature points combined with image entropy［J］. Infrared and Laser Engineering， 2013， 42（10）： 2846-2852 （in Chinese）.
44	BAJCSY R， KOVAČIČ S. Multiresolution elastic matching［J］. Computer Vision， Graphics， and Image Processing， 1989， 46（1）： 1-21.
45	CHRISTENSEN G E， RABBITT R D， MILLER M I. Deformable templates using large deformation kinematics［J］. IEEE Transactions on Image Processing， 1996， 5（10）： 1435-1447.
46	BEAUCHEMIN S S， BARRON J L. The computation of optical flow［J］. ACM Computing Surveys， 1995， 27（3）： 433-466.
47	MORAVEC H P. Obstacle avoidance and navigation in the real world by a seeing robot rover［D］. Stanford： Stanford University， 1980.
48	HARRIS C， STEPHENS M. A combined corner and edge detector［C］∥Proceedings of the Alvey Vision Conference， 1988.
49	SHI J B， TOMASI C. Good features to track［C］∥1994 Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2002： 593-600.
50	SMITH S M， BRADY J M. SUSAN： A new approach to low level image processing［J］. International Journal of Computer Vision， 1997， 23（1）： 45-78.
51	LOWE D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.
52	BAY H， TUYTELAARS T， VAN GOOL L. SURF： Speeded up robust features［M］∥Computer Vision- ECCV 2006. Berlin， Heidelberg： Springer， 2006： 404-417.
53	RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF［C］∥2011 International Conference on Computer Vision. Piscataway： IEEE Press， 2011： 2564-2571.
54	ROSTEN E， DRUMMOND T. Machine learning for high-speed corner detection［M］∥Computer Vision- ECCV 2006. Berlin， Heidelberg： Springer， 2006： 430-443.
55	CALONDER M， LEPETIT V， STRECHA C， et al. BRIEF： Binary robust independent elementary features［M］∥Computer Vision-ECCV 2010. Berlin， Heidelberg： Springer， 2010： 778-792.
56	ZARAGOZA J， CHIN T J， BROWN M S， et al. As-projective-as-possible image stitching with moving DLT［C］∥2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2013： 2339-2346.
57	CHANG C H， SATO Y， CHUANG Y Y. Shape-preserving half-projective warps for image stitching［C］∥2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2014： 3254-3261.
58	LIN C C， PANKANTI S U， RAMAMURTHY K N， et al. Adaptive as-natural-as-possible image stitching［C］∥2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2015： 1155-1163.
59	CHEN Y-S， CHUANG Y Y. Natural image stitching with the global similarity prior［M］∥Computer Vision-ECCV 2016. Cham： Springer International Publishing， 2016： 186-201.
60	SUN L， WANG S Q， XING J C. An improved Harris corner detection algorithm for low contrast image［C］∥The 26th Chinese Control and Decision Conference （2014 CCDC）. Piscataway： IEEE Press， 2014： 3039-3043.
61	HAN C， YOU F C， WANG S M. An improved Harris corner detection algorithm based on adaptive gray threshold［C］∥2019 4th International Conference on Automatic Control and Mechatronic Engineering （ACME 2019）. 2019： 1-5.
62	CUI J， XIE J B， LIU T， et al. Corners detection on finger vein images using the improved Harris algorithm［J］. Optik， 2014， 125（17）： 4668-4671.
63	KE Y， SUKTHANKAR R. PCA-SIFT： A more distinctive representation for local image descriptors［C］∥Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2004.
64	MOREL J M， YU G S. ASIFT： A new framework for fully affine invariant image comparison［J］. SIAM Journal on Imaging Sciences， 2009， 2（2）： 438-469.
65	HOSSEIN-NEJAD Z， AGAHI H， MAHMOODZADEH A. Image matching based on the adaptive redundant keypoint elimination method in the SIFT algorithm［J］. Pattern Analysis and Applications， 2021， 24（2）： 669-683.
66	MA W P， WEN Z L， WU Y， et al. Remote sensing image registration with modified SIFT and enhanced feature matching［J］. IEEE Geoscience and Remote Sensing Letters， 2017， 14（1）： 3-7.
67	CHEN Y， SHANG L. Improved SIFT image registration algorithm on characteristic statistical distributions and consistency constraint［J］. Optik， 2016， 127（2）： 900-911.
68	PATEL M I， THAKAR V K， SHAH S K. Image registration of satellite images with varying illumination level using HOG descriptor based SURF［J］. Procedia Computer Science， 2016， 93： 382-388.
69	SHENG H Y， WEI S M， YU X L， et al. Research on binocular visual system of robotic arm based on improved SURF algorithm［J］. IEEE Sensors Journal， 2020， 20（20）： 11849-11855.
70	XIE Y G， WANG Q， CHANG Y X， et al. Fast target recognition based on improved ORB feature［J］. Applied Sciences， 2022， 12（2）： 786.
71	SUN H， WANG P， ZHANG D， et al. An improved ORB algorithm based on optimized feature point extraction［C］∥2020 IEEE 3rd International Conference on Automation， Electronics and Electrical Engineering （AUTEEE）. IEEE， 2020： 389-394.
72	ZHANG Z Y， WANG L X， ZHENG W F， et al. Endoscope image mosaic based on pyramid ORB［J］. Biomedical Signal Processing and Control， 2022， 71： 103261.
73	ZHANG W N. Combination of SIFT and canny edge detection for registration between SAR and optical images［J］. IEEE Geoscience and Remote Sensing Letters， 2020， 19： 4007205.
74	LIU W X， CHIN T J. Correspondence insertion for as-projective-as-possible image stitching［DB/OL］. arXiv preprint： 1608.07997， 2016.
75	LI N， XU Y F， WANG C. Quasi-homography warps in image stitching［J］. IEEE Transactions on Multimedia， 2018， 20（6）： 1365-1375.
76	LIAO T L， LI N. Single-perspective warps in natural image stitching［J］. IEEE Transactions on Image Processing， 2019.
77	JIA Q， LI Z J， FAN X， et al. Leveraging line-point consistence to preserve structures for wide parallax image stitching［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 12181-12190.
78	GAO J， LI Y， CHIN T J， et al. Seam-driven image stitching［C］∥Eurographics 2013 （Short Papers）. Girona： The Eurographics Association， 2013： 45-48.
79	LIN K M， JIANG N J， CHEONG L F， et al. SEAGULL： Seam-guided local alignment for parallax-tolerant image stitching［M］∥Computer Vision-ECCV 2016. Cham： Springer International Publishing， 2016： 370-385.
80	LI N， LIAO T， WANG C. Perception-based energy functions in seam-cutting［J］. arXiv preprint： 1701.06141， 2017.
81	LIAO T L， CHEN J， XU Y F. Quality evaluation-based iterative seam estimation for image stitching［J］. Signal， Image and Video Processing， 2019， 13（6）： 1199-1206.
82	YUAN Y T， FANG F M， ZHANG G X. Superpixel-based seamless image stitching for UAV images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2021， 59（2）： 1565-1576.
83	CHEN X， YU M， SONG Y. Optimized seam-driven image stitching method based on scene depth information［J］. Electronics， 2022， 11（12）： 1876.
84	LI S T， KANG X D， FANG L Y， et al. Pixel-level image fusion： A survey of the state of the art［J］. Information Fusion， 2017， 33： 100-112.
85	SUN J G， HAN Q L， KOU L， et al. Multi-focus image fusion algorithm based on Laplacian Pyramids［J］. Journal of the Optical Society of America A， Optics， Image Science， and Vision， 2018， 35（3）： 480-490.
86	AMOLINS K， ZHANG Y， DARE P. Wavelet based image fusion techniques： An introduction， review and comparison［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2007， 62（4）： 249-263.
87	NENCINI F， GARZELLI A， BARONTI S， et al. Remote sensing image fusion using the curvelet transform［J］. Information Fusion， 2007， 8（2）： 143-156.
88	ZHANG Q， LIU Y， BLUM R S， et al. Sparse representation based multi-sensor image fusion for multi-focus and multi-modality images： A review［J］. Information Fusion， 2018， 40： 57-75.
89	SAHU D， PARSAI M P. Different image fusion techniques-a critical review［J］. International Journal of Modern Engineering Research （IJMER）， 2012， 2（5）： 4298-4301.
90	YANG Y， WAN W G， HUANG S Y， et al. Remote sensing image fusion based on adaptive IHS and multiscale guided filter［J］. IEEE Access， 2016， 4： 4573-4582.
91	DESALE R P， VERMA S V. Study and analysis of PCA， DCT & DWT based image fusion techniques［C］∥2013 International Conference on Signal Processing， Image Processing & Pattern Recognition. Piscataway： IEEE Press， 2013： 66-69.
92	MITIANOUDIS N， STATHAKI T. Pixel-based and region-based image fusion schemes using ICA bases［J］. Information Fusion， 2007， 8（2）： 131-142.
93	TANG L， ZHAO Z G. Multiresolution image fusion based on the wavelet-based contourlet transform［C］∥2007 10th International Conference on Information Fusion. Piscataway： IEEE Press， 2007： 1-6.
94	LIU Y， LIU S P， WANG Z F. A general framework for image fusion based on multi-scale transform and sparse representation［J］. Information Fusion， 2015， 24： 147-164.
95	LIU Y， CHEN X， WARD R K， et al. Medical image fusion via convolutional sparsity based morphological component analysis［J］. IEEE Signal Processing Letters， 2019， 26（3）： 485-489.
96	TU T M， SU S C， SHYU H C， et al. A new look at IHS-like image fusion methods［J］. Information Fusion， 2001， 2（3）： 177-186.
97	RAHMANI S， STRAIT M， MERKURJEV D， et al. An adaptive IHS pan-sharpening method［J］. IEEE Geoscience and Remote Sensing Letters， 2010， 7（4）： 746-750.
98	GHAHREMANI M， GHASSEMIAN H. Nonlinear IHS： A promising method for pan-sharpening［J］. IEEE Geoscience and Remote Sensing Letters， 2016， 13（11）： 1606-1610.
99	BURT P， ADELSON E. The Laplacian pyramid as a compact image code［J］. IEEE Transactions on Communications， 1983， 31（4）： 532-540.
100	TOET A. Image fusion by a ratio of low-pass pyramid［J］. Pattern Recognition Letters， 1989， 9（4）： 245-253.
101	SIMONCELLI E P， FREEMAN W T. The steerable pyramid： A flexible architecture for multi-scale derivative computation［C］∥Proceedings International Conference on Image Processing. Piscataway： IEEE Press， 1995： 444-447.
102	MALLAT S G. A theory for multiresolution signal decomposition： The wavelet representation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1989， 11（7）： 674-693.
103	YANG Y. A novel DWT based multi-focus image fusion method［J］. Procedia Engineering， 2011， 24： 177-181.
104	CAO W， LI B C， ZHANG Y. A remote sensing image fusion method based on PCA transform and wavelet packet transform［C］∥International Conference on Neural Networks and Signal Processing， 2003. Proceedings of the 2003. Piscataway： IEEE Press， 2003： 976-981.
105	SELESNICK I W， BARANIUK R G， KINGSBURY N C. The dual-tree complex wavelet transform［J］. IEEE Signal Processing Magazine， 2005， 22（6）： 123-151.
106	GILLES J. Empirical wavelet transform［J］. IEEE Transactions on Signal Processing， 2013， 61（16）： 3999-4010.
107	CANDÈS E J， DONOHO D L. Ridgelets： A key to higher-dimensional intermittency？［J］. Philosophical Transactions of the Royal Society of London Series A： Mathematical， Physical and Engineering Sciences， 1999， 357（1760）： 2495-2509.
108	STARCK J L， CANDÈS E J， DONOHO D L. The curvelet transform for image denoising［J］. IEEE Transactions on Image Processing， 2002， 11（6）： 670-684.
109	DO M N， VETTERLI M. The contourlet transform： an efficient directional multiresolution image representation［J］. IEEE Transactions on Image Processing， 2005， 14（12）： 2091-2106.
110	CUNHA A L DA， ZHOU J， DO M N. The nonsubsampled contourlet transform： theory， design， and applications［J］. IEEE Transactions on Image Processing， 2006， 15（10）： 3089-3101.
111	蒋婷婷，王敬东，李鹏. 基于Curvelet变换和小波变换相结合的图像融合算法研究［J］. 光电子技术， 2010， 30（2）： 111-116.
	JIANG T T， WANG J D， LI P. Research on multifocus image fusion algorithm by combining Curvelet transform and wavelet transform［J］. Optoelectronic Technology， 2010， 30（2）： 111-116 （in Chinese）.
112	ARIF M， WANG G J. Fast curvelet transform through genetic algorithm for multimodal medical image fusion［J］. Soft Computing， 2020， 24（3）： 1815-1836.
113	ZHANG H， XU H， TIAN X， et al. Image fusion meets deep learning： A survey and perspective［J］. Information Fusion， 2021， 76： 323-336.
114	KARIM S， TONG G， LI J Y， et al. Current advances and future perspectives of image fusion： A comprehensive review［J］. Information Fusion， 2023， 90： 185-217.
115	AZARANG A， MANOOCHEHRI H E， KEHTAR⁃NAVAZ N. Convolutional autoencoder-based multispectral image fusion［J］. IEEE Access， 2019， 7： 35673-35683.
116	PRABHAKAR K R， SRIKAR V S， BABU R V. DeepFuse： A deep unsupervised approach for exposure fusion with extreme exposure image pairs［C］∥2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 4724-4732.
117	LI H， WU X J. DenseFuse： A fusion approach to infrared and visible images［J］. IEEE Transactions on Image Processing， 2019， 28（5）： 2614-2623.
118	LIU Y， CHEN X， CHENG J， et al. A medical image fusion method based on convolutional neural networks［C］∥2017 20th International Conference on Information Fusion （Fusion）. Piscataway： IEEE Press， 2017： 1-7.
119	ZHANG H， XU H， XIAO Y， et al. Rethinking the image fusion： A fast unified image fusion network based on proportional maintenance of gradient and intensity［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（7）： 12797-12804.
120	MA J Y， YU W， CHEN C， et al. Pan-GAN： An unsupervised pan-sharpening method for remote sensing image fusion［J］. Information Fusion， 2020， 62： 110-120.
121	XU H， MA J Y， ZHANG X P. MEF-GAN： Multi-exposure image fusion via generative adversarial networks［J］. IEEE Transactions on Image Processing， 2020， 29： 7203-7216.
122	RAO Y J， WU D， HAN M N， et al. AT-GAN： A generative adversarial network with attention and transition for infrared and visible image fusion［J］. Information Fusion， 2023， 92： 336-349.
123	MA J Y， YU W， LIANG P W， et al. FusionGAN： A generative adversarial network for infrared and visible image fusion［J］. Information Fusion， 2019， 48： 11-26.
124	MA J Y， XU H， JIANG J J， et al. DDcGAN： A dual-discriminator conditional generative adversarial network for multi-resolution image fusion［J］. IEEE Transactions on Image Processing， 2020.
125	朱雯青，张宁，李争，等. 基于多任务卷积神经网络的红外与可见光多分辨率图像融合［J］. 光谱学与光谱分析， 2023， 43（1）： 289-296.
	ZHU W Q， ZHANG N， LI Z， et al. A multi-task convolutional neural network for infrared and visible multi-resolution image fusion［J］. Spectroscopy and Spectral Analysis， 2023， 43（1）： 289-296 （in Chinese）.
126	WANG J X， XI X L， LI D M， et al. GRPAFusion： A gradient residual and pyramid attention-based multiscale network for multimodal image fusion［J］. Entropy， 2023， 25（1）： 169.
127	LIU D， YANG F B， WEI H，et al. Remote sensing image fusion method based on discrete wavelet and multiscale morphological transform in the IHS color space［J］. Journal of Applied Remote Sensing， 2020， 14（1）： 016518.
128	SHARMA M. A review ： Image fusion techniques and applications［J］. International Journal of Computer Science and Information Technologies， 2016， 7（3）： 1082-1085.
129	LU N， WU Y P， ZHENG H B， et al. An assessment of multi-view spectral information from UAV-based color-infrared images for improved estimation of nitrogen nutrition status in winter wheat［J］. Precision Agriculture， 2022， 23（5）： 1653-1674.
130	TRINIDAD M C， MARTIN-BRUALLA R， KAINZ F， et al. Multi-view image fusion［C］∥2019 IEEE/CVF International Conference on Computer Vision （ICCV）. IEEE， 2019： 4101-4110.
131	WANG D， CUI X R， CHEN X， et al. Multi-view 3D reconstruction with transformers［C］∥2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2021： 5702-5711.
132	SONG D， ZHANG Z Q， LI W H， et al. Judgment of benign and early malignant colorectal tumors from ultrasound images with deep multi-view fusion［J］. Computer Methods and Programs in Biomedicine， 2022， 215： 106634.
133	AMIN-NAJI M， AGHAGOLZADEH A， EZOJI M. Ensemble of CNN for multi-focus image fusion［J］. Information Fusion， 2019， 51： 201-214.
134	QIN X M， BAN Y X， WU P， et al. Improved image fusion method based on sparse decomposition［J］. Electronics， 2022， 11（15）： 2321.
135	LIU Y， WANG L， LI H F， et al. Multi-focus image fusion with deep residual learning and focus property detection［J］. Information Fusion， 2022， 86： 1-16.
136	MUCHONEY D， HAACK B. Change detection for monitoring forest defoliation［J］. Photogrammetric Engineering and Remote Sensing， 2007， 60： 1243-1251.
137	EZIMAND K， CHAHARDOLI M， AZADBAKHT M， et al. Spatiotemporal analysis of land surface temperature using multi-temporal and multi-sensor image fusion techniques［J］. Sustainable Cities and Society， 2021， 64： 102508.
138	SAUR G， KRÜGER W. Change detection in UAV video mosaics combining a feature based approach and extended image differencing［J］. The International Archives of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2016， XLI-B7： 557-562.
139	WILBURN B， JOSHI N， VAISH V， et al. High-speed videography using a dense camera array［C］∥Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2004.
140	WILBURN B， JOSHI N， VAISH V， et al. High performance imaging using large camera arrays［J］. ACM Transactions on Graphics， 2005， 24（3）： 765-776.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

[1]	李少毅, 卫孟杰, 杨俊彦, 杨曦, 孟中杰. 红外多波段成像末制导技术研究现状与展望[J]. 航空学报, 2024, 45(20): 630427-630427.
[2]	刘传凯, 王沼翔, 雷俊雄, 张作宇, 樊宽刚, 张济韬, 王晓雪, 潘海朗, 刘建国. 基于松弛极线约束的月面复杂仿射变换图像匹配方法[J]. 航空学报, 2024, 45(2): 328659-328659.
[3]	叶铮, 朱岱寅, 吴迪. 一种基于重叠子孔径回波信息的SAR图像配准算法[J]. 航空学报, 2023, 44(8): 327254-327254.
[4]	孙秀一, 胡绍海, 马晓乐. 基于无监督深度学习的红外与可见光图像融合[J]. 航空学报, 2022, 43(S1): 726938-726938.
[5]	王华夏, 程咏梅, 刘楠. 面向山地区域光照变化下的鲁棒景象匹配方法[J]. 航空学报, 2017, 38(10): 321101-321101.
[6]	刘中杰, 曹云峰, 庄丽葵, 丁萌. 基于控制线方法的机载SAR和可见光图像匹配应用研究[J]. 航空学报, 2013, 34(9): 2194-2201.
[7]	申浩, 李书晓, 申意萍, 朱承飞, 常红星. 航拍视频帧间快速配准算法[J]. 航空学报, 2013, 34(6): 1405-1413.
[8]	廖超, 王贵锦, 沈永玲, 何贝, 林行刚. 航拍视频的多向条带拼接算法[J]. 航空学报, 2012, 33(11): 2065-2073.
[9]	易盟, 郭宝龙. 基于不变特征和映射抑制的航拍视频图像配准[J]. 航空学报, 2012, 33(10): 1872-1880.
[10]	龙云利, 徐晖, 安玮. 基于约束序贯M估计的时空域融合红外杂波抑制[J]. 航空学报, 2011, 32(8): 1531-1541.
[11]	杨惠娟;张建秋;胡波. 残差超复数偶对分解的多光谱和全色图像融合方法[J]. 航空学报, 2009, 30(3): 490-496.
[12]	王云丽;张鑫;高超;王晖;张茂军. 航拍视频拼图中基于特征匹配的全局运动估计方法[J]. 航空学报, 2008, 29(5): 1218-1225.
[13]	刘宝泉;冯大政;武楠;李军侠. 基于点特征的干涉合成孔径雷达(InSAR)复图像自动配准算法[J]. 航空学报, 2007, 28(1): 161-166.
[14]	牛力丕;毛士艺;陈炜. 一种适应较大比例变化的多传感器图像配准方法[J]. 航空学报, 2006, 27(3): 475-480.
[15]	许东;安锦文. 一种基于光流拟和的航拍视频图像全局运动估算方法[J]. 航空学报, 2006, 27(1): 94-97.

机载多孔径全景图像合成技术研究进展

A review of airborne multi-aperture panoramic image compositing

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 16

参考文献 140

相关文章 15

编辑推荐

Metrics

本文评价