ACTA AERONAUTICAET ASTRONAUTICA SINICA >
A review of airborne multi-aperture panoramic image compositing
Received date: 2024-04-10
Revised date: 2024-06-21
Accepted date: 2024-07-01
Online published: 2024-07-12
Supported by
National Natural Science Foundation of China(U21B2033);Optoelectronic Measurement and Intelligent Perception Zhongguancun Open Lab., and Space Optoelectronic Measurement and Perception Lab., Beijing Institute of Control Engineering(LabSOMP-2022-05);National Key Research and Development Program of China(2022YFA1205002);Leading Technology of Jiangsu Basic Research Plan(BK20192003);Key National Industrial Technology Cooperation Foundation of Jiangsu Province(BZ2022039)
The airborne multi-aperture panoramic image compositing technology generates panoramic images with high resolution and rich details by stitching images from multiple sub-aperture or sensors， and plays an important role in many key fields such as national defense and security， agriculture and forestry， and digital surveillance. This paper introduces the development background of airborne multi-aperture panoramic image compositing technology， expounds the basic concepts and steps of panoramic image compositing， sorts out the classification and development of its core technologies--image registration technology and image fusion technology， and summarizes the characteristics and limitations of current mainstream methods. Finally， based on an analysis of the current development status of airborne multi-aperture panoramic image compositing technology， the bottleneck problems of the technology are revealed. The future research directions and possible technical ways to solve these problems are also proposed to provide useful enlightenment for the technological progress and application expansion in this field.
Fujie WU , Bowen WANG , Jingya QI , Mingzhi CAO , Yingjun SANG , Sheng LI , Yuzhen ZHANG , Qian CHEN , Chao ZUO . A review of airborne multi-aperture panoramic image compositing[J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2025 , 46(3) : 630505 -630505 . DOI: 10.7527/S1000-6893.2024.30505
| 1 | 李晟， 王博文， 管海涛， 等. 远场合成孔径计算光学成像技术： 文献综述与最新进展［J］. 光电工程， 2023， 50（10）： 230090. |
| LI S， WANG B W， GUAN H T， et al. Far-field computational optical imaging techniques based on synthetic aperture： a review［J］. Opto-Electronic Engineering， 2023， 50（10）： 230090 （in Chinese）. | |
| 2 | 左超， 陈钱. 分辨率、超分辨率与空间带宽积拓展： 从计算光学成像角度的一些思考［J］. 中国光学（中英文）， 2022， 15（6）： 1105-1166. |
| ZUO C， CHEN Q. Resolution， super-resolution and spatial bandwidth product expansion： Some thoughts from the perspective of computational optical imaging［J］. Chinese Optics， 2022， 15（6）： 1105-1166 （in Chinese）. | |
| 3 | 左超， 陈钱. 计算光学成像： 何来，何处，何去，何从？［J］. 红外与激光工程， 2022， 51（2）： 3788/IRLA20220110. |
| ZUO C， CHEN Q. Computational optical imaging： An overview［J］. Infrared and Laser Engineering， 2022， 51（2）： 3788/IRLA20220110 （in Chinese）. | |
| 4 | LI Z Q， ISLER V. Large scale image mosaic construction for agricultural applications［J］. IEEE Robotics and Automation Letters， 2016， 1（1）： 295-302. |
| 5 | GUI Z C， LI H F. Automated defect detection and visualization for the robotic airport runway inspection［J］. IEEE Access， 2020， 8： 76100-76107. |
| 6 | DAVID JENKINS M， BUGGY T， MORISON G. An imaging system for visual inspection and structural condition monitoring of railway tunnels［C］∥2017 IEEE Workshop on Environmental， Energy， and Structural Monitoring Systems （EESMS）. Piscataway： IEEE Press， 2017： 1-6. |
| 7 | LI M， LI D， FAN D. A study on automatic UAV image mosaic method for paroxysmal disaster［J］. The International Archives of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2012， XXXIX-B6： 123-128. |
| 8 | IVEZI? ?， CONNOLLY A J， JURI? M. Everything we’d like to do with LSST data， but we don’t know （yet） how［J］. Proceedings of the International Astronomical Union， 2016， 12（S325）： 93-102. |
| 9 | NEILL D， ANGELI G， CLAVER C， et al. Overview of the LSST active optics system［J］. Proceedings of SPIE， 2014， 9150： 143-158. |
| 10 | YUAN X Y， FANG L， DAI Q H， et al. Multiscale gigapixel video： A cross resolution image matching and warping approach［C］∥2017 IEEE International Conference on Computational Photography （ICCP）. Piscataway： IEEE Press， 2017： 1-9. |
| 11 | YUAN X Y， JI M Q， WU J M， et al. A modular hierarchical array camera［J］. Light， Science & Applications， 2021， 10（1）： 37. |
| 12 | LLULL P， BANGE L， PHILLIPS Z， et al. Characterization of the AWARE 40 wide-field-of-view visible imager［J］. Optica， 2015， 2（12）： 1086. |
| 13 | 刘飞， 刘佳维， 邵晓鹏. 高集成度小型化共心多尺度光学系统设计［J］. 光学 精密工程， 2020， 28（6）： 1275-1282. |
| LIU F， LIU J W， SHAO X P. Design of high integration and miniaturization concentric multiscale optical system［J］. Optics and Precision Engineering， 2020， 28（6）： 1275-1282 （in Chinese）. | |
| 14 | 方璐， 戴琼海. 计算光场成像［J］. 光学学报， 2020， 40（1）： 0111001. |
| FANG L， DAI Q H. Computational light field imaging［J］. Acta Optica Sinica， 2020， 40（1）： 0111001 （in Chinese）. | |
| 15 | 邵晓鹏， 刘飞， 李伟， 等. 计算成像技术及应用最新进展［J］. 激光与光电子学进展， 2020， 57（2）： 11-55. |
| SHAO X P， LIU F， LI W， et al. Latest progress in computational imaging technology and application［J］. Laser & Optoelectronics Progress， 2020， 57（2）： 11-55 （in Chinese）. | |
| 16 | 周亮， 刘凯， 刘朝晖， 等. 光学复用大视场成像研究［J］. 光子学报， 2020， 49（9）： 132-138. |
| ZHOU L， LIU K， LIU Z H， et al. Optically multiplexed imaging for increased field of view［J］. Acta Photonica Sinica， 2020， 49（9）： 132-138 （in Chinese）. | |
| 17 | WANG B W， LI S， CHEN Q， et al. Learning-based single-shot long-range synthetic aperture Fourier ptychographic imaging with a camera array［J］. Optics Letters， 2023， 48（2）： 263-266. |
| 18 | YANG F， WU J C， GAO Y H， et al. A four-aperture super-resolution camera based on adaptive regularization parameter tuning［J］. Optics and Lasers in Engineering， 2023， 165： 107562. |
| 19 | HOLLOWAY J， ASIF M S， SHARMA M K， et al. Toward long-distance subdiffraction imaging using coherent camera arrays［J］. IEEE Transactions on Computational Imaging， 2016， 2（3）： 251-265. |
| 20 | 李树涛， 李聪妤， 康旭东. 多源遥感图像融合发展现状与未来展望［J］. 遥感学报， 25（1）： 148-166. |
| LI S T， LI C Y， KANG X D. Development status and future prospects of multi-source remote sensing image fusion［J］. National Remote Sensing Bulletin， 25（1）： 148-166 （in Chinese）. | |
| 21 | 李赛， 尹球， 胡勇， 等. 基于SPHP的推扫式高光谱航空影像拼接［J］. 红外与毫米波学报， 2021， 40（1）： 64-73. |
| LI S， YIN Q， HU Y， et al. A push-sweep hyperspectral aerial image Mosaic method based on SPHP［J］. Journal of Infrared and Millimeter Waves， 2021， 40（1）： 64-73 （in Chinese）. | |
| 22 | 李俊杰， 姜涛， 傅俏燕. “高分一号” 卫星多光谱宽幅相机影像合成［J］. 航天返回与遥感， 2020， 41（5）： 95-101. |
| LI J J， JIANG T， FU Q Y. Cloud-free image composite of GF-1 wide field of view camera［J］. Spacecraft Recovery & Remote Sensing， 2020， 41（5）： 95-101 （in Chinese）. | |
| 23 | 易俐娜， 许筱， 张桂峰， 等. 轻小型无人机高光谱影像拼接研究［J］. 光谱学与光谱分析， 2019， 39（6）： 1885-1891. |
| YI L N， XU X， ZHANG G F， et al. Light and small UAV hyperspectral image mosaicking［J］. Spectroscopy and Spectral Analysis， 2019， 39（6）： 1885-1891 （in Chinese）. | |
| 24 | WANG B W， ZOU Y， ZHANG L F， et al. Multimodal super-resolution reconstruction of infrared and visible images via deep learning［J］. Optics and Lasers in Engineering， 2022， 156： 107078. |
| 25 | CHANDEL R， GUPTA G. Image filtering algorithms and techniques： A review［J］. International Journal of Advanced Research in Computer Science and Software Engineering， 2013， 3（10）： 1-10. |
| 26 | BANG S， KIM H， KIM H. UAV-based automatic generation of high-resolution panorama at a construction site with a focus on preprocessing for image stitching［J］. Automation in Construction， 2017， 84： 70-80. |
| 27 | VAIDYA O S， GANDHE S T. The study of preprocessing and postprocessing techniques of image stitching［C］∥2018 International Conference on Advances in Communication and Computing Technology （ICACCT）. Piscataway： IEEE Press， 2018： 431-435. |
| 28 | 周前飞， 刘晶红， 居波， 等. 面阵CCD航空相机斜视图像的几何校正［J］. 液晶与显示， 2015， 30（3）： 505-513. |
| ZHOU Q F， LIU J H， JU B， et al. Geometric correction of oblique images for array CCD aerial cameras［J］. Chinese Journal of Liquid Crystals and Displays， 2015， 30（3）： 505-513 （in Chinese）. | |
| 29 | LIU B， XIAO Q， ZHANG Y H， et al. Intelligent recognition method of low-altitude squint optical ship target fused with simulation samples［J］. Remote Sensing， 2021， 13（14）： 2697. |
| 30 | BROWN L G. A survey of image registration techniques［J］. ACM Computing Surveys， 1992， 24（4）： 325-376. |
| 31 | ZITOVá B， FLUSSER J. Image registration methods： A survey［J］. Image and Vision Computing， 2003， 21（11）： 977-1000. |
| 32 | WANG Z J， ZIOU D， ARMENAKIS C， et al. A comparative analysis of image fusion methods［J］. IEEE Transactions on Geoscience and Remote Sensing， 2005， 43（6）： 1391-1402. |
| 33 | KAUR H， KOUNDAL D， KADYAN V. Image fusion techniques： A survey［J］. Archives of Computational Methods in Engineering， 2021， 28（7）： 4425-4447. |
| 34 | XIONG Z， ZHANG Y. A critical review of image registration methods［J］. International Journal of Image and Data Fusion， 2010， 1（2）： 137-158. |
| 35 | RAO Y R， PRATHAPANI N， NAGABHOOSHANAM E. Application of normalized cross correlation to image registration［J］. International Journal of Research in Engineering and Technology， 2014， 3（5）： 12-16. |
| 36 | KYBIC J， UNSER M. Fast parametric elastic image registration［J］. IEEE Transactions on Image Processing， 2003， 12（11）： 1427-1442. |
| 37 | BARNEA D I， SILVERMAN H F. A class of algorithms for fast digital image registration［J］. IEEE Transactions on Computers， 1972， C-21（2）： 179-186. |
| 38 | KUGLIN C D， HINES D C. The phase correlation image alignment method［C］∥IEEE International Conference on Cybernetics and Society， 1975： 163-165. |
| 39 | DE CASTRO E， MORANDI C. Registration of translated and rotated images using finite Fourier transforms［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1987， PAMI-9（5）： 700-703. |
| 40 | 杨必武， 郭晓松， 赵敬民， 等. 基于小波变换的视差图像全局几何配准新算法［J］. 光子学报， 2007， 36（3）： 574-576. |
| YANG B W， GUO X S， ZHAO J M， et al. An algorithm on geometric global registration of parallax images based on wavelet transform［J］. Acta Photonica Sinica， 2007， 36（3）： 574-576 （in Chinese）. | |
| 41 | 李培， 姜刚， 马千里， 等. 结合张量与互信息的混合模型多模态图像配准方法［J］. 测绘学报， 2021， 50（7）： 916-929. |
| LI P， JIANG G， MA Q L， et al. A hybrid model combining tensor and mutual information for multi-modal image registration［J］. Acta Geodaetica et Cartographica Sinica， 2021， 50（7）： 916-929 （in Chinese）. | |
| 42 | 凌志刚， 潘泉， 程咏梅， 等. 一种结合梯度方向互信息和多分辨混合优化的多模图像配准方法［J］. 光子学报， 2010， 39（8）： 1359-1366. |
| LING Z G， PAN Q， CHENG Y M， et al. A multimodal image registration method combining gradient orientation mutual information with multi-resolution hybrid optimization algorithm［J］. Acta Photonica Sinica， 2010， 39（8）： 1359-1366 （in Chinese）. | |
| 43 | 吴泽鹏， 郭玲玲， 朱明超， 等. 结合图像信息熵和特征点的图像配准方法［J］. 红外与激光工程， 2013， 42（10）： 2846-2852. |
| WU Z P， GUO L L， ZHU M C， et al. Improved image registration using feature points combined with image entropy［J］. Infrared and Laser Engineering， 2013， 42（10）： 2846-2852 （in Chinese）. | |
| 44 | BAJCSY R， KOVA?I? S. Multiresolution elastic matching［J］. Computer Vision， Graphics， and Image Processing， 1989， 46（1）： 1-21. |
| 45 | CHRISTENSEN G E， RABBITT R D， MILLER M I. Deformable templates using large deformation kinematics［J］. IEEE Transactions on Image Processing， 1996， 5（10）： 1435-1447. |
| 46 | BEAUCHEMIN S S， BARRON J L. The computation of optical flow［J］. ACM Computing Surveys， 1995， 27（3）： 433-466. |
| 47 | MORAVEC H P. Obstacle avoidance and navigation in the real world by a seeing robot rover［D］. Stanford： Stanford University， 1980. |
| 48 | HARRIS C， STEPHENS M. A combined corner and edge detector［C］∥Proceedings of the Alvey Vision Conference， 1988. |
| 49 | SHI J B， TOMASI C. Good features to track［C］∥1994 Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2002： 593-600. |
| 50 | SMITH S M， BRADY J M. SUSAN： A new approach to low level image processing［J］. International Journal of Computer Vision， 1997， 23（1）： 45-78. |
| 51 | LOWE D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110. |
| 52 | BAY H， TUYTELAARS T， VAN GOOL L. SURF： Speeded up robust features［M］∥Computer Vision- ECCV 2006. Berlin， Heidelberg： Springer， 2006： 404-417. |
| 53 | RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF［C］∥2011 International Conference on Computer Vision. Piscataway： IEEE Press， 2011： 2564-2571. |
| 54 | ROSTEN E， DRUMMOND T. Machine learning for high-speed corner detection［M］∥Computer Vision- ECCV 2006. Berlin， Heidelberg： Springer， 2006： 430-443. |
| 55 | CALONDER M， LEPETIT V， STRECHA C， et al. BRIEF： Binary robust independent elementary features［M］∥Computer Vision-ECCV 2010. Berlin， Heidelberg： Springer， 2010： 778-792. |
| 56 | ZARAGOZA J， CHIN T J， BROWN M S， et al. As-projective-as-possible image stitching with moving DLT［C］∥2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2013： 2339-2346. |
| 57 | CHANG C H， SATO Y， CHUANG Y Y. Shape-preserving half-projective warps for image stitching［C］∥2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2014： 3254-3261. |
| 58 | LIN C C， PANKANTI S U， RAMAMURTHY K N， et al. Adaptive as-natural-as-possible image stitching［C］∥2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2015： 1155-1163. |
| 59 | CHEN Y-S， CHUANG Y Y. Natural image stitching with the global similarity prior［M］∥Computer Vision-ECCV 2016. Cham： Springer International Publishing， 2016： 186-201. |
| 60 | SUN L， WANG S Q， XING J C. An improved Harris corner detection algorithm for low contrast image［C］∥The 26th Chinese Control and Decision Conference （2014 CCDC）. Piscataway： IEEE Press， 2014： 3039-3043. |
| 61 | HAN C， YOU F C， WANG S M. An improved Harris corner detection algorithm based on adaptive gray threshold［C］∥2019 4th International Conference on Automatic Control and Mechatronic Engineering （ACME 2019）. 2019： 1-5. |
| 62 | CUI J， XIE J B， LIU T， et al. Corners detection on finger vein images using the improved Harris algorithm［J］. Optik， 2014， 125（17）： 4668-4671. |
| 63 | KE Y， SUKTHANKAR R. PCA-SIFT： A more distinctive representation for local image descriptors［C］∥Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2004. |
| 64 | MOREL J M， YU G S. ASIFT： A new framework for fully affine invariant image comparison［J］. SIAM Journal on Imaging Sciences， 2009， 2（2）： 438-469. |
| 65 | HOSSEIN-NEJAD Z， AGAHI H， MAHMOODZADEH A. Image matching based on the adaptive redundant keypoint elimination method in the SIFT algorithm［J］. Pattern Analysis and Applications， 2021， 24（2）： 669-683. |
| 66 | MA W P， WEN Z L， WU Y， et al. Remote sensing image registration with modified SIFT and enhanced feature matching［J］. IEEE Geoscience and Remote Sensing Letters， 2017， 14（1）： 3-7. |
| 67 | CHEN Y， SHANG L. Improved SIFT image registration algorithm on characteristic statistical distributions and consistency constraint［J］. Optik， 2016， 127（2）： 900-911. |
| 68 | PATEL M I， THAKAR V K， SHAH S K. Image registration of satellite images with varying illumination level using HOG descriptor based SURF［J］. Procedia Computer Science， 2016， 93： 382-388. |
| 69 | SHENG H Y， WEI S M， YU X L， et al. Research on binocular visual system of robotic arm based on improved SURF algorithm［J］. IEEE Sensors Journal， 2020， 20（20）： 11849-11855. |
| 70 | XIE Y G， WANG Q， CHANG Y X， et al. Fast target recognition based on improved ORB feature［J］. Applied Sciences， 2022， 12（2）： 786. |
| 71 | SUN H， WANG P， ZHANG D， et al. An improved ORB algorithm based on optimized feature point extraction［C］∥2020 IEEE 3rd International Conference on Automation， Electronics and Electrical Engineering （AUTEEE）. IEEE， 2020： 389-394. |
| 72 | ZHANG Z Y， WANG L X， ZHENG W F， et al. Endoscope image mosaic based on pyramid ORB［J］. Biomedical Signal Processing and Control， 2022， 71： 103261. |
| 73 | ZHANG W N. Combination of SIFT and canny edge detection for registration between SAR and optical images［J］. IEEE Geoscience and Remote Sensing Letters， 2020， 19： 4007205. |
| 74 | LIU W X， CHIN T J. Correspondence insertion for as-projective-as-possible image stitching［DB/OL］. arXiv preprint： 1608.07997， 2016. |
| 75 | LI N， XU Y F， WANG C. Quasi-homography warps in image stitching［J］. IEEE Transactions on Multimedia， 2018， 20（6）： 1365-1375. |
| 76 | LIAO T L， LI N. Single-perspective warps in natural image stitching［J］. IEEE Transactions on Image Processing， 2019. |
| 77 | JIA Q， LI Z J， FAN X， et al. Leveraging line-point consistence to preserve structures for wide parallax image stitching［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 12181-12190. |
| 78 | GAO J， LI Y， CHIN T J， et al. Seam-driven image stitching［C］∥Eurographics 2013 （Short Papers）. Girona： The Eurographics Association， 2013： 45-48. |
| 79 | LIN K M， JIANG N J， CHEONG L F， et al. SEAGULL： Seam-guided local alignment for parallax-tolerant image stitching［M］∥Computer Vision-ECCV 2016. Cham： Springer International Publishing， 2016： 370-385. |
| 80 | LI N， LIAO T， WANG C. Perception-based energy functions in seam-cutting［J］. arXiv preprint： 1701.06141， 2017. |
| 81 | LIAO T L， CHEN J， XU Y F. Quality evaluation-based iterative seam estimation for image stitching［J］. Signal， Image and Video Processing， 2019， 13（6）： 1199-1206. |
| 82 | YUAN Y T， FANG F M， ZHANG G X. Superpixel-based seamless image stitching for UAV images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2021， 59（2）： 1565-1576. |
| 83 | CHEN X， YU M， SONG Y. Optimized seam-driven image stitching method based on scene depth information［J］. Electronics， 2022， 11（12）： 1876. |
| 84 | LI S T， KANG X D， FANG L Y， et al. Pixel-level image fusion： A survey of the state of the art［J］. Information Fusion， 2017， 33： 100-112. |
| 85 | SUN J G， HAN Q L， KOU L， et al. Multi-focus image fusion algorithm based on Laplacian Pyramids［J］. Journal of the Optical Society of America A， Optics， Image Science， and Vision， 2018， 35（3）： 480-490. |
| 86 | AMOLINS K， ZHANG Y， DARE P. Wavelet based image fusion techniques： An introduction， review and comparison［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2007， 62（4）： 249-263. |
| 87 | NENCINI F， GARZELLI A， BARONTI S， et al. Remote sensing image fusion using the curvelet transform［J］. Information Fusion， 2007， 8（2）： 143-156. |
| 88 | ZHANG Q， LIU Y， BLUM R S， et al. Sparse representation based multi-sensor image fusion for multi-focus and multi-modality images： A review［J］. Information Fusion， 2018， 40： 57-75. |
| 89 | SAHU D， PARSAI M P. Different image fusion techniques-a critical review［J］. International Journal of Modern Engineering Research （IJMER）， 2012， 2（5）： 4298-4301. |
| 90 | YANG Y， WAN W G， HUANG S Y， et al. Remote sensing image fusion based on adaptive IHS and multiscale guided filter［J］. IEEE Access， 2016， 4： 4573-4582. |
| 91 | DESALE R P， VERMA S V. Study and analysis of PCA， DCT & DWT based image fusion techniques［C］∥2013 International Conference on Signal Processing， Image Processing & Pattern Recognition. Piscataway： IEEE Press， 2013： 66-69. |
| 92 | MITIANOUDIS N， STATHAKI T. Pixel-based and region-based image fusion schemes using ICA bases［J］. Information Fusion， 2007， 8（2）： 131-142. |
| 93 | TANG L， ZHAO Z G. Multiresolution image fusion based on the wavelet-based contourlet transform［C］∥2007 10th International Conference on Information Fusion. Piscataway： IEEE Press， 2007： 1-6. |
| 94 | LIU Y， LIU S P， WANG Z F. A general framework for image fusion based on multi-scale transform and sparse representation［J］. Information Fusion， 2015， 24： 147-164. |
| 95 | LIU Y， CHEN X， WARD R K， et al. Medical image fusion via convolutional sparsity based morphological component analysis［J］. IEEE Signal Processing Letters， 2019， 26（3）： 485-489. |
| 96 | TU T M， SU S C， SHYU H C， et al. A new look at IHS-like image fusion methods［J］. Information Fusion， 2001， 2（3）： 177-186. |
| 97 | RAHMANI S， STRAIT M， MERKURJEV D， et al. An adaptive IHS pan-sharpening method［J］. IEEE Geoscience and Remote Sensing Letters， 2010， 7（4）： 746-750. |
| 98 | GHAHREMANI M， GHASSEMIAN H. Nonlinear IHS： A promising method for pan-sharpening［J］. IEEE Geoscience and Remote Sensing Letters， 2016， 13（11）： 1606-1610. |
| 99 | BURT P， ADELSON E. The Laplacian pyramid as a compact image code［J］. IEEE Transactions on Communications， 1983， 31（4）： 532-540. |
| 100 | TOET A. Image fusion by a ratio of low-pass pyramid［J］. Pattern Recognition Letters， 1989， 9（4）： 245-253. |
| 101 | SIMONCELLI E P， FREEMAN W T. The steerable pyramid： A flexible architecture for multi-scale derivative computation［C］∥Proceedings International Conference on Image Processing. Piscataway： IEEE Press， 1995： 444-447. |
| 102 | MALLAT S G. A theory for multiresolution signal decomposition： The wavelet representation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1989， 11（7）： 674-693. |
| 103 | YANG Y. A novel DWT based multi-focus image fusion method［J］. Procedia Engineering， 2011， 24： 177-181. |
| 104 | CAO W， LI B C， ZHANG Y. A remote sensing image fusion method based on PCA transform and wavelet packet transform［C］∥International Conference on Neural Networks and Signal Processing， 2003. Proceedings of the 2003. Piscataway： IEEE Press， 2003： 976-981. |
| 105 | SELESNICK I W， BARANIUK R G， KINGSBURY N C. The dual-tree complex wavelet transform［J］. IEEE Signal Processing Magazine， 2005， 22（6）： 123-151. |
| 106 | GILLES J. Empirical wavelet transform［J］. IEEE Transactions on Signal Processing， 2013， 61（16）： 3999-4010. |
| 107 | CANDèS E J， DONOHO D L. Ridgelets： A key to higher-dimensional intermittency？［J］. Philosophical Transactions of the Royal Society of London Series A： Mathematical， Physical and Engineering Sciences， 1999， 357（1760）： 2495-2509. |
| 108 | STARCK J L， CANDèS E J， DONOHO D L. The curvelet transform for image denoising［J］. IEEE Transactions on Image Processing， 2002， 11（6）： 670-684. |
| 109 | DO M N， VETTERLI M. The contourlet transform： an efficient directional multiresolution image representation［J］. IEEE Transactions on Image Processing， 2005， 14（12）： 2091-2106. |
| 110 | CUNHA A L DA， ZHOU J， DO M N. The nonsubsampled contourlet transform： theory， design， and applications［J］. IEEE Transactions on Image Processing， 2006， 15（10）： 3089-3101. |
| 111 | 蒋婷婷， 王敬东， 李鹏. 基于Curvelet变换和小波变换相结合的图像融合算法研究［J］. 光电子技术， 2010， 30（2）： 111-116. |
| JIANG T T， WANG J D， LI P. Research on multifocus image fusion algorithm by combining Curvelet transform and wavelet transform［J］. Optoelectronic Technology， 2010， 30（2）： 111-116 （in Chinese）. | |
| 112 | ARIF M， WANG G J. Fast curvelet transform through genetic algorithm for multimodal medical image fusion［J］. Soft Computing， 2020， 24（3）： 1815-1836. |
| 113 | ZHANG H， XU H， TIAN X， et al. Image fusion meets deep learning： A survey and perspective［J］. Information Fusion， 2021， 76： 323-336. |
| 114 | KARIM S， TONG G， LI J Y， et al. Current advances and future perspectives of image fusion： A comprehensive review［J］. Information Fusion， 2023， 90： 185-217. |
| 115 | AZARANG A， MANOOCHEHRI H E， KEHTAR?NAVAZ N. Convolutional autoencoder-based multispectral image fusion［J］. IEEE Access， 2019， 7： 35673-35683. |
| 116 | PRABHAKAR K R， SRIKAR V S， BABU R V. DeepFuse： A deep unsupervised approach for exposure fusion with extreme exposure image pairs［C］∥2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 4724-4732. |
| 117 | LI H， WU X J. DenseFuse： A fusion approach to infrared and visible images［J］. IEEE Transactions on Image Processing， 2019， 28（5）： 2614-2623. |
| 118 | LIU Y， CHEN X， CHENG J， et al. A medical image fusion method based on convolutional neural networks［C］∥2017 20th International Conference on Information Fusion （Fusion）. Piscataway： IEEE Press， 2017： 1-7. |
| 119 | ZHANG H， XU H， XIAO Y， et al. Rethinking the image fusion： A fast unified image fusion network based on proportional maintenance of gradient and intensity［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（7）： 12797-12804. |
| 120 | MA J Y， YU W， CHEN C， et al. Pan-GAN： An unsupervised pan-sharpening method for remote sensing image fusion［J］. Information Fusion， 2020， 62： 110-120. |
| 121 | XU H， MA J Y， ZHANG X P. MEF-GAN： Multi-exposure image fusion via generative adversarial networks［J］. IEEE Transactions on Image Processing， 2020， 29： 7203-7216. |
| 122 | RAO Y J， WU D， HAN M N， et al. AT-GAN： A generative adversarial network with attention and transition for infrared and visible image fusion［J］. Information Fusion， 2023， 92： 336-349. |
| 123 | MA J Y， YU W， LIANG P W， et al. FusionGAN： A generative adversarial network for infrared and visible image fusion［J］. Information Fusion， 2019， 48： 11-26. |
| 124 | MA J Y， XU H， JIANG J J， et al. DDcGAN： A dual-discriminator conditional generative adversarial network for multi-resolution image fusion［J］. IEEE Transactions on Image Processing， 2020. |
| 125 | 朱雯青， 张宁， 李争， 等. 基于多任务卷积神经网络的红外与可见光多分辨率图像融合［J］. 光谱学与光谱分析， 2023， 43（1）： 289-296. |
| ZHU W Q， ZHANG N， LI Z， et al. A multi-task convolutional neural network for infrared and visible multi-resolution image fusion［J］. Spectroscopy and Spectral Analysis， 2023， 43（1）： 289-296 （in Chinese）. | |
| 126 | WANG J X， XI X L， LI D M， et al. GRPAFusion： A gradient residual and pyramid attention-based multiscale network for multimodal image fusion［J］. Entropy， 2023， 25（1）： 169. |
| 127 | LIU D， YANG F B， WEI H，et al. Remote sensing image fusion method based on discrete wavelet and multiscale morphological transform in the IHS color space［J］. Journal of Applied Remote Sensing， 2020， 14（1）： 016518. |
| 128 | SHARMA M. A review ： Image fusion techniques and applications［J］. International Journal of Computer Science and Information Technologies， 2016， 7（3）： 1082-1085. |
| 129 | LU N， WU Y P， ZHENG H B， et al. An assessment of multi-view spectral information from UAV-based color-infrared images for improved estimation of nitrogen nutrition status in winter wheat［J］. Precision Agriculture， 2022， 23（5）： 1653-1674. |
| 130 | TRINIDAD M C， MARTIN-BRUALLA R， KAINZ F， et al. Multi-view image fusion［C］∥2019 IEEE/CVF International Conference on Computer Vision （ICCV）. IEEE， 2019： 4101-4110. |
| 131 | WANG D， CUI X R， CHEN X， et al. Multi-view 3D reconstruction with transformers［C］∥2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2021： 5702-5711. |
| 132 | SONG D， ZHANG Z Q， LI W H， et al. Judgment of benign and early malignant colorectal tumors from ultrasound images with deep multi-view fusion［J］. Computer Methods and Programs in Biomedicine， 2022， 215： 106634. |
| 133 | AMIN-NAJI M， AGHAGOLZADEH A， EZOJI M. Ensemble of CNN for multi-focus image fusion［J］. Information Fusion， 2019， 51： 201-214. |
| 134 | QIN X M， BAN Y X， WU P， et al. Improved image fusion method based on sparse decomposition［J］. Electronics， 2022， 11（15）： 2321. |
| 135 | LIU Y， WANG L， LI H F， et al. Multi-focus image fusion with deep residual learning and focus property detection［J］. Information Fusion， 2022， 86： 1-16. |
| 136 | MUCHONEY D， HAACK B. Change detection for monitoring forest defoliation［J］. Photogrammetric Engineering and Remote Sensing， 2007， 60： 1243-1251. |
| 137 | EZIMAND K， CHAHARDOLI M， AZADBAKHT M， et al. Spatiotemporal analysis of land surface temperature using multi-temporal and multi-sensor image fusion techniques［J］. Sustainable Cities and Society， 2021， 64： 102508. |
| 138 | SAUR G， KRüGER W. Change detection in UAV video mosaics combining a feature based approach and extended image differencing［J］. The International Archives of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2016， XLI-B7： 557-562. |
| 139 | WILBURN B， JOSHI N， VAISH V， et al. High-speed videography using a dense camera array［C］∥Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2004. |
| 140 | WILBURN B， JOSHI N， VAISH V， et al. High performance imaging using large camera arrays［J］. ACM Transactions on Graphics， 2005， 24（3）： 765-776. |
/
| 〈 |
|
〉 |
CJA