机载多孔径全景图像合成技术研究进展

doi:10.7527/S1000-6893.2024.30505

Abstract

Abstract:

The airborne multi-aperture panoramic image compositing technology generates panoramic images with high resolution and rich details by stitching images from multiple sub-aperture or sensors， and plays an important role in many key fields such as national defense and security， agriculture and forestry， and digital surveillance. This paper introduces the development background of airborne multi-aperture panoramic image compositing technology， expounds the basic concepts and steps of panoramic image compositing， sorts out the classification and development of its core technologies--image registration technology and image fusion technology， and summarizes the characteristics and limitations of current mainstream methods. Finally， based on an analysis of the current development status of airborne multi-aperture panoramic image compositing technology， the bottleneck problems of the technology are revealed. The future research directions and possible technical ways to solve these problems are also proposed to provide useful enlightenment for the technological progress and application expansion in this field.

Key words: panoramic image compositing, image registration, image fusion, multi-aperture detection, unmanned aerial vehicle remote sensing

CLC Number:

V219

Fujie WU, Bowen WANG, Jingya QI, Mingzhi CAO, Yingjun SANG, Sheng LI, Yuzhen ZHANG, Qian CHEN, Chao ZUO. A review of airborne multi-aperture panoramic image compositing[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(3): 630505.

Figures/Tables 16

Fig.1

Fig.2

Fig.3

Fig.4

Fig.5

Fig.6

Fig.7

Fig.8

Fig.9

Fig.10

Fig.11

Fig.12

Fig.13

Fig.14

Fig.15

Fig.16

References 140

1	李晟，王博文，管海涛，等. 远场合成孔径计算光学成像技术：文献综述与最新进展［J］. 光电工程， 2023， 50（10）： 230090.
	LI S， WANG B W， GUAN H T， et al. Far-field computational optical imaging techniques based on synthetic aperture： a review［J］. Opto-Electronic Engineering， 2023， 50（10）： 230090 （in Chinese）.
2	左超，陈钱. 分辨率、超分辨率与空间带宽积拓展：从计算光学成像角度的一些思考［J］. 中国光学（中英文）， 2022， 15（6）： 1105-1166.
	ZUO C， CHEN Q. Resolution， super-resolution and spatial bandwidth product expansion： Some thoughts from the perspective of computational optical imaging［J］. Chinese Optics， 2022， 15（6）： 1105-1166 （in Chinese）.
3	左超，陈钱. 计算光学成像：何来，何处，何去，何从？［J］. 红外与激光工程， 2022， 51（2）： 3788/IRLA20220110.
	ZUO C， CHEN Q. Computational optical imaging： An overview［J］. Infrared and Laser Engineering， 2022， 51（2）： 3788/IRLA20220110 （in Chinese）.
4	LI Z Q， ISLER V. Large scale image mosaic construction for agricultural applications［J］. IEEE Robotics and Automation Letters， 2016， 1（1）： 295-302.
5	GUI Z C， LI H F. Automated defect detection and visualization for the robotic airport runway inspection［J］. IEEE Access， 2020， 8： 76100-76107.
6	DAVID JENKINS M， BUGGY T， MORISON G. An imaging system for visual inspection and structural condition monitoring of railway tunnels［C］∥2017 IEEE Workshop on Environmental， Energy， and Structural Monitoring Systems （EESMS）. Piscataway： IEEE Press， 2017： 1-6.
7	LI M， LI D， FAN D. A study on automatic UAV image mosaic method for paroxysmal disaster［J］. The International Archives of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2012， XXXIX-B6： 123-128.
8	IVEZIĆ Ž， CONNOLLY A J， JURIĆ M. Everything we’d like to do with LSST data， but we don’t know （yet） how［J］. Proceedings of the International Astronomical Union， 2016， 12（S325）： 93-102.
9	NEILL D， ANGELI G， CLAVER C， et al. Overview of the LSST active optics system［J］. Proceedings of SPIE， 2014， 9150： 143-158.
10	YUAN X Y， FANG L， DAI Q H， et al. Multiscale gigapixel video： A cross resolution image matching and warping approach［C］∥2017 IEEE International Conference on Computational Photography （ICCP）. Piscataway： IEEE Press， 2017： 1-9.
11	YUAN X Y， JI M Q， WU J M， et al. A modular hierarchical array camera［J］. Light， Science & Applications， 2021， 10（1）： 37.
12	LLULL P， BANGE L， PHILLIPS Z， et al. Characterization of the AWARE 40 wide-field-of-view visible imager［J］. Optica， 2015， 2（12）： 1086.
13	刘飞，刘佳维，邵晓鹏. 高集成度小型化共心多尺度光学系统设计［J］. 光学精密工程， 2020， 28（6）： 1275-1282.
	LIU F， LIU J W， SHAO X P. Design of high integration and miniaturization concentric multiscale optical system［J］. Optics and Precision Engineering， 2020， 28（6）： 1275-1282 （in Chinese）.
14	方璐，戴琼海. 计算光场成像［J］. 光学学报， 2020， 40（1）： 0111001.
	FANG L， DAI Q H. Computational light field imaging［J］. Acta Optica Sinica， 2020， 40（1）： 0111001 （in Chinese）.
15	邵晓鹏，刘飞，李伟，等. 计算成像技术及应用最新进展［J］. 激光与光电子学进展， 2020， 57（2）： 11-55.
	SHAO X P， LIU F， LI W， et al. Latest progress in computational imaging technology and application［J］. Laser & Optoelectronics Progress， 2020， 57（2）： 11-55 （in Chinese）.
16	周亮，刘凯，刘朝晖，等. 光学复用大视场成像研究［J］. 光子学报， 2020， 49（9）： 132-138.
	ZHOU L， LIU K， LIU Z H， et al. Optically multiplexed imaging for increased field of view［J］. Acta Photonica Sinica， 2020， 49（9）： 132-138 （in Chinese）.
17	WANG B W， LI S， CHEN Q， et al. Learning-based single-shot long-range synthetic aperture Fourier ptychographic imaging with a camera array［J］. Optics Letters， 2023， 48（2）： 263-266.
18	YANG F， WU J C， GAO Y H， et al. A four-aperture super-resolution camera based on adaptive regularization parameter tuning［J］. Optics and Lasers in Engineering， 2023， 165： 107562.
19	HOLLOWAY J， ASIF M S， SHARMA M K， et al. Toward long-distance subdiffraction imaging using coherent camera arrays［J］. IEEE Transactions on Computational Imaging， 2016， 2（3）： 251-265.
20	李树涛，李聪妤，康旭东. 多源遥感图像融合发展现状与未来展望［J］. 遥感学报， 25（1）： 148-166.
	LI S T， LI C Y， KANG X D. Development status and future prospects of multi-source remote sensing image fusion［J］. National Remote Sensing Bulletin， 25（1）： 148-166 （in Chinese）.
21	李赛，尹球，胡勇，等. 基于SPHP的推扫式高光谱航空影像拼接［J］. 红外与毫米波学报， 2021， 40（1）： 64-73.
	LI S， YIN Q， HU Y， et al. A push-sweep hyperspectral aerial image Mosaic method based on SPHP［J］. Journal of Infrared and Millimeter Waves， 2021， 40（1）： 64-73 （in Chinese）.
22	李俊杰，姜涛，傅俏燕. “高分一号” 卫星多光谱宽幅相机影像合成［J］. 航天返回与遥感， 2020， 41（5）： 95-101.
	LI J J， JIANG T， FU Q Y. Cloud-free image composite of GF-1 wide field of view camera［J］. Spacecraft Recovery & Remote Sensing， 2020， 41（5）： 95-101 （in Chinese）.
23	易俐娜，许筱，张桂峰，等. 轻小型无人机高光谱影像拼接研究［J］. 光谱学与光谱分析， 2019， 39（6）： 1885-1891.
	YI L N， XU X， ZHANG G F， et al. Light and small UAV hyperspectral image mosaicking［J］. Spectroscopy and Spectral Analysis， 2019， 39（6）： 1885-1891 （in Chinese）.
24	WANG B W， ZOU Y， ZHANG L F， et al. Multimodal super-resolution reconstruction of infrared and visible images via deep learning［J］. Optics and Lasers in Engineering， 2022， 156： 107078.
25	CHANDEL R， GUPTA G. Image filtering algorithms and techniques： A review［J］. International Journal of Advanced Research in Computer Science and Software Engineering， 2013， 3（10）： 1-10.
26	BANG S， KIM H， KIM H. UAV-based automatic generation of high-resolution panorama at a construction site with a focus on preprocessing for image stitching［J］. Automation in Construction， 2017， 84： 70-80.
27	VAIDYA O S， GANDHE S T. The study of preprocessing and postprocessing techniques of image stitching［C］∥2018 International Conference on Advances in Communication and Computing Technology （ICACCT）. Piscataway： IEEE Press， 2018： 431-435.
28	周前飞，刘晶红，居波，等. 面阵CCD航空相机斜视图像的几何校正［J］. 液晶与显示， 2015， 30（3）： 505-513.
	ZHOU Q F， LIU J H， JU B， et al. Geometric correction of oblique images for array CCD aerial cameras［J］. Chinese Journal of Liquid Crystals and Displays， 2015， 30（3）： 505-513 （in Chinese）.
29	LIU B， XIAO Q， ZHANG Y H， et al. Intelligent recognition method of low-altitude squint optical ship target fused with simulation samples［J］. Remote Sensing， 2021， 13（14）： 2697.
30	BROWN L G. A survey of image registration techniques［J］. ACM Computing Surveys， 1992， 24（4）： 325-376.
31	ZITOVÁ B， FLUSSER J. Image registration methods： A survey［J］. Image and Vision Computing， 2003， 21（11）： 977-1000.
32	WANG Z J， ZIOU D， ARMENAKIS C， et al. A comparative analysis of image fusion methods［J］. IEEE Transactions on Geoscience and Remote Sensing， 2005， 43（6）： 1391-1402.
33	KAUR H， KOUNDAL D， KADYAN V. Image fusion techniques： A survey［J］. Archives of Computational Methods in Engineering， 2021， 28（7）： 4425-4447.
34	XIONG Z， ZHANG Y. A critical review of image registration methods［J］. International Journal of Image and Data Fusion， 2010， 1（2）： 137-158.
35	RAO Y R， PRATHAPANI N， NAGABHOOSHANAM E. Application of normalized cross correlation to image registration［J］. International Journal of Research in Engineering and Technology， 2014， 3（5）： 12-16.
36	KYBIC J， UNSER M. Fast parametric elastic image registration［J］. IEEE Transactions on Image Processing， 2003， 12（11）： 1427-1442.
37	BARNEA D I， SILVERMAN H F. A class of algorithms for fast digital image registration［J］. IEEE Transactions on Computers， 1972， C-21（2）： 179-186.
38	KUGLIN C D， HINES D C. The phase correlation image alignment method［C］∥IEEE International Conference on Cybernetics and Society， 1975： 163-165.
39	DE CASTRO E， MORANDI C. Registration of translated and rotated images using finite Fourier transforms［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1987， PAMI-9（5）： 700-703.
40	杨必武，郭晓松，赵敬民，等. 基于小波变换的视差图像全局几何配准新算法［J］. 光子学报， 2007， 36（3）： 574-576.
	YANG B W， GUO X S， ZHAO J M， et al. An algorithm on geometric global registration of parallax images based on wavelet transform［J］. Acta Photonica Sinica， 2007， 36（3）： 574-576 （in Chinese）.
41	李培，姜刚，马千里，等. 结合张量与互信息的混合模型多模态图像配准方法［J］. 测绘学报， 2021， 50（7）： 916-929.
	LI P， JIANG G， MA Q L， et al. A hybrid model combining tensor and mutual information for multi-modal image registration［J］. Acta Geodaetica et Cartographica Sinica， 2021， 50（7）： 916-929 （in Chinese）.
42	凌志刚，潘泉，程咏梅，等. 一种结合梯度方向互信息和多分辨混合优化的多模图像配准方法［J］. 光子学报， 2010， 39（8）： 1359-1366.
	LING Z G， PAN Q， CHENG Y M， et al. A multimodal image registration method combining gradient orientation mutual information with multi-resolution hybrid optimization algorithm［J］. Acta Photonica Sinica， 2010， 39（8）： 1359-1366 （in Chinese）.
43	吴泽鹏，郭玲玲，朱明超，等. 结合图像信息熵和特征点的图像配准方法［J］. 红外与激光工程， 2013， 42（10）： 2846-2852.
	WU Z P， GUO L L， ZHU M C， et al. Improved image registration using feature points combined with image entropy［J］. Infrared and Laser Engineering， 2013， 42（10）： 2846-2852 （in Chinese）.
44	BAJCSY R， KOVAČIČ S. Multiresolution elastic matching［J］. Computer Vision， Graphics， and Image Processing， 1989， 46（1）： 1-21.
45	CHRISTENSEN G E， RABBITT R D， MILLER M I. Deformable templates using large deformation kinematics［J］. IEEE Transactions on Image Processing， 1996， 5（10）： 1435-1447.
46	BEAUCHEMIN S S， BARRON J L. The computation of optical flow［J］. ACM Computing Surveys， 1995， 27（3）： 433-466.
47	MORAVEC H P. Obstacle avoidance and navigation in the real world by a seeing robot rover［D］. Stanford： Stanford University， 1980.
48	HARRIS C， STEPHENS M. A combined corner and edge detector［C］∥Proceedings of the Alvey Vision Conference， 1988.
49	SHI J B， TOMASI C. Good features to track［C］∥1994 Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2002： 593-600.
50	SMITH S M， BRADY J M. SUSAN： A new approach to low level image processing［J］. International Journal of Computer Vision， 1997， 23（1）： 45-78.
51	LOWE D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.
52	BAY H， TUYTELAARS T， VAN GOOL L. SURF： Speeded up robust features［M］∥Computer Vision- ECCV 2006. Berlin， Heidelberg： Springer， 2006： 404-417.
53	RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF［C］∥2011 International Conference on Computer Vision. Piscataway： IEEE Press， 2011： 2564-2571.
54	ROSTEN E， DRUMMOND T. Machine learning for high-speed corner detection［M］∥Computer Vision- ECCV 2006. Berlin， Heidelberg： Springer， 2006： 430-443.
55	CALONDER M， LEPETIT V， STRECHA C， et al. BRIEF： Binary robust independent elementary features［M］∥Computer Vision-ECCV 2010. Berlin， Heidelberg： Springer， 2010： 778-792.
56	ZARAGOZA J， CHIN T J， BROWN M S， et al. As-projective-as-possible image stitching with moving DLT［C］∥2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2013： 2339-2346.
57	CHANG C H， SATO Y， CHUANG Y Y. Shape-preserving half-projective warps for image stitching［C］∥2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2014： 3254-3261.
58	LIN C C， PANKANTI S U， RAMAMURTHY K N， et al. Adaptive as-natural-as-possible image stitching［C］∥2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2015： 1155-1163.
59	CHEN Y-S， CHUANG Y Y. Natural image stitching with the global similarity prior［M］∥Computer Vision-ECCV 2016. Cham： Springer International Publishing， 2016： 186-201.
60	SUN L， WANG S Q， XING J C. An improved Harris corner detection algorithm for low contrast image［C］∥The 26th Chinese Control and Decision Conference （2014 CCDC）. Piscataway： IEEE Press， 2014： 3039-3043.
61	HAN C， YOU F C， WANG S M. An improved Harris corner detection algorithm based on adaptive gray threshold［C］∥2019 4th International Conference on Automatic Control and Mechatronic Engineering （ACME 2019）. 2019： 1-5.
62	CUI J， XIE J B， LIU T， et al. Corners detection on finger vein images using the improved Harris algorithm［J］. Optik， 2014， 125（17）： 4668-4671.
63	KE Y， SUKTHANKAR R. PCA-SIFT： A more distinctive representation for local image descriptors［C］∥Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2004.
64	MOREL J M， YU G S. ASIFT： A new framework for fully affine invariant image comparison［J］. SIAM Journal on Imaging Sciences， 2009， 2（2）： 438-469.
65	HOSSEIN-NEJAD Z， AGAHI H， MAHMOODZADEH A. Image matching based on the adaptive redundant keypoint elimination method in the SIFT algorithm［J］. Pattern Analysis and Applications， 2021， 24（2）： 669-683.
66	MA W P， WEN Z L， WU Y， et al. Remote sensing image registration with modified SIFT and enhanced feature matching［J］. IEEE Geoscience and Remote Sensing Letters， 2017， 14（1）： 3-7.
67	CHEN Y， SHANG L. Improved SIFT image registration algorithm on characteristic statistical distributions and consistency constraint［J］. Optik， 2016， 127（2）： 900-911.
68	PATEL M I， THAKAR V K， SHAH S K. Image registration of satellite images with varying illumination level using HOG descriptor based SURF［J］. Procedia Computer Science， 2016， 93： 382-388.
69	SHENG H Y， WEI S M， YU X L， et al. Research on binocular visual system of robotic arm based on improved SURF algorithm［J］. IEEE Sensors Journal， 2020， 20（20）： 11849-11855.
70	XIE Y G， WANG Q， CHANG Y X， et al. Fast target recognition based on improved ORB feature［J］. Applied Sciences， 2022， 12（2）： 786.
71	SUN H， WANG P， ZHANG D， et al. An improved ORB algorithm based on optimized feature point extraction［C］∥2020 IEEE 3rd International Conference on Automation， Electronics and Electrical Engineering （AUTEEE）. IEEE， 2020： 389-394.
72	ZHANG Z Y， WANG L X， ZHENG W F， et al. Endoscope image mosaic based on pyramid ORB［J］. Biomedical Signal Processing and Control， 2022， 71： 103261.
73	ZHANG W N. Combination of SIFT and canny edge detection for registration between SAR and optical images［J］. IEEE Geoscience and Remote Sensing Letters， 2020， 19： 4007205.
74	LIU W X， CHIN T J. Correspondence insertion for as-projective-as-possible image stitching［DB/OL］. arXiv preprint： 1608.07997， 2016.
75	LI N， XU Y F， WANG C. Quasi-homography warps in image stitching［J］. IEEE Transactions on Multimedia， 2018， 20（6）： 1365-1375.
76	LIAO T L， LI N. Single-perspective warps in natural image stitching［J］. IEEE Transactions on Image Processing， 2019.
77	JIA Q， LI Z J， FAN X， et al. Leveraging line-point consistence to preserve structures for wide parallax image stitching［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 12181-12190.
78	GAO J， LI Y， CHIN T J， et al. Seam-driven image stitching［C］∥Eurographics 2013 （Short Papers）. Girona： The Eurographics Association， 2013： 45-48.
79	LIN K M， JIANG N J， CHEONG L F， et al. SEAGULL： Seam-guided local alignment for parallax-tolerant image stitching［M］∥Computer Vision-ECCV 2016. Cham： Springer International Publishing， 2016： 370-385.
80	LI N， LIAO T， WANG C. Perception-based energy functions in seam-cutting［J］. arXiv preprint： 1701.06141， 2017.
81	LIAO T L， CHEN J， XU Y F. Quality evaluation-based iterative seam estimation for image stitching［J］. Signal， Image and Video Processing， 2019， 13（6）： 1199-1206.
82	YUAN Y T， FANG F M， ZHANG G X. Superpixel-based seamless image stitching for UAV images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2021， 59（2）： 1565-1576.
83	CHEN X， YU M， SONG Y. Optimized seam-driven image stitching method based on scene depth information［J］. Electronics， 2022， 11（12）： 1876.
84	LI S T， KANG X D， FANG L Y， et al. Pixel-level image fusion： A survey of the state of the art［J］. Information Fusion， 2017， 33： 100-112.
85	SUN J G， HAN Q L， KOU L， et al. Multi-focus image fusion algorithm based on Laplacian Pyramids［J］. Journal of the Optical Society of America A， Optics， Image Science， and Vision， 2018， 35（3）： 480-490.
86	AMOLINS K， ZHANG Y， DARE P. Wavelet based image fusion techniques： An introduction， review and comparison［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2007， 62（4）： 249-263.
87	NENCINI F， GARZELLI A， BARONTI S， et al. Remote sensing image fusion using the curvelet transform［J］. Information Fusion， 2007， 8（2）： 143-156.
88	ZHANG Q， LIU Y， BLUM R S， et al. Sparse representation based multi-sensor image fusion for multi-focus and multi-modality images： A review［J］. Information Fusion， 2018， 40： 57-75.
89	SAHU D， PARSAI M P. Different image fusion techniques-a critical review［J］. International Journal of Modern Engineering Research （IJMER）， 2012， 2（5）： 4298-4301.
90	YANG Y， WAN W G， HUANG S Y， et al. Remote sensing image fusion based on adaptive IHS and multiscale guided filter［J］. IEEE Access， 2016， 4： 4573-4582.
91	DESALE R P， VERMA S V. Study and analysis of PCA， DCT & DWT based image fusion techniques［C］∥2013 International Conference on Signal Processing， Image Processing & Pattern Recognition. Piscataway： IEEE Press， 2013： 66-69.
92	MITIANOUDIS N， STATHAKI T. Pixel-based and region-based image fusion schemes using ICA bases［J］. Information Fusion， 2007， 8（2）： 131-142.
93	TANG L， ZHAO Z G. Multiresolution image fusion based on the wavelet-based contourlet transform［C］∥2007 10th International Conference on Information Fusion. Piscataway： IEEE Press， 2007： 1-6.
94	LIU Y， LIU S P， WANG Z F. A general framework for image fusion based on multi-scale transform and sparse representation［J］. Information Fusion， 2015， 24： 147-164.
95	LIU Y， CHEN X， WARD R K， et al. Medical image fusion via convolutional sparsity based morphological component analysis［J］. IEEE Signal Processing Letters， 2019， 26（3）： 485-489.
96	TU T M， SU S C， SHYU H C， et al. A new look at IHS-like image fusion methods［J］. Information Fusion， 2001， 2（3）： 177-186.
97	RAHMANI S， STRAIT M， MERKURJEV D， et al. An adaptive IHS pan-sharpening method［J］. IEEE Geoscience and Remote Sensing Letters， 2010， 7（4）： 746-750.
98	GHAHREMANI M， GHASSEMIAN H. Nonlinear IHS： A promising method for pan-sharpening［J］. IEEE Geoscience and Remote Sensing Letters， 2016， 13（11）： 1606-1610.
99	BURT P， ADELSON E. The Laplacian pyramid as a compact image code［J］. IEEE Transactions on Communications， 1983， 31（4）： 532-540.
100	TOET A. Image fusion by a ratio of low-pass pyramid［J］. Pattern Recognition Letters， 1989， 9（4）： 245-253.
101	SIMONCELLI E P， FREEMAN W T. The steerable pyramid： A flexible architecture for multi-scale derivative computation［C］∥Proceedings International Conference on Image Processing. Piscataway： IEEE Press， 1995： 444-447.
102	MALLAT S G. A theory for multiresolution signal decomposition： The wavelet representation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1989， 11（7）： 674-693.
103	YANG Y. A novel DWT based multi-focus image fusion method［J］. Procedia Engineering， 2011， 24： 177-181.
104	CAO W， LI B C， ZHANG Y. A remote sensing image fusion method based on PCA transform and wavelet packet transform［C］∥International Conference on Neural Networks and Signal Processing， 2003. Proceedings of the 2003. Piscataway： IEEE Press， 2003： 976-981.
105	SELESNICK I W， BARANIUK R G， KINGSBURY N C. The dual-tree complex wavelet transform［J］. IEEE Signal Processing Magazine， 2005， 22（6）： 123-151.
106	GILLES J. Empirical wavelet transform［J］. IEEE Transactions on Signal Processing， 2013， 61（16）： 3999-4010.
107	CANDÈS E J， DONOHO D L. Ridgelets： A key to higher-dimensional intermittency？［J］. Philosophical Transactions of the Royal Society of London Series A： Mathematical， Physical and Engineering Sciences， 1999， 357（1760）： 2495-2509.
108	STARCK J L， CANDÈS E J， DONOHO D L. The curvelet transform for image denoising［J］. IEEE Transactions on Image Processing， 2002， 11（6）： 670-684.
109	DO M N， VETTERLI M. The contourlet transform： an efficient directional multiresolution image representation［J］. IEEE Transactions on Image Processing， 2005， 14（12）： 2091-2106.
110	CUNHA A L DA， ZHOU J， DO M N. The nonsubsampled contourlet transform： theory， design， and applications［J］. IEEE Transactions on Image Processing， 2006， 15（10）： 3089-3101.
111	蒋婷婷，王敬东，李鹏. 基于Curvelet变换和小波变换相结合的图像融合算法研究［J］. 光电子技术， 2010， 30（2）： 111-116.
	JIANG T T， WANG J D， LI P. Research on multifocus image fusion algorithm by combining Curvelet transform and wavelet transform［J］. Optoelectronic Technology， 2010， 30（2）： 111-116 （in Chinese）.
112	ARIF M， WANG G J. Fast curvelet transform through genetic algorithm for multimodal medical image fusion［J］. Soft Computing， 2020， 24（3）： 1815-1836.
113	ZHANG H， XU H， TIAN X， et al. Image fusion meets deep learning： A survey and perspective［J］. Information Fusion， 2021， 76： 323-336.
114	KARIM S， TONG G， LI J Y， et al. Current advances and future perspectives of image fusion： A comprehensive review［J］. Information Fusion， 2023， 90： 185-217.
115	AZARANG A， MANOOCHEHRI H E， KEHTAR⁃NAVAZ N. Convolutional autoencoder-based multispectral image fusion［J］. IEEE Access， 2019， 7： 35673-35683.
116	PRABHAKAR K R， SRIKAR V S， BABU R V. DeepFuse： A deep unsupervised approach for exposure fusion with extreme exposure image pairs［C］∥2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 4724-4732.
117	LI H， WU X J. DenseFuse： A fusion approach to infrared and visible images［J］. IEEE Transactions on Image Processing， 2019， 28（5）： 2614-2623.
118	LIU Y， CHEN X， CHENG J， et al. A medical image fusion method based on convolutional neural networks［C］∥2017 20th International Conference on Information Fusion （Fusion）. Piscataway： IEEE Press， 2017： 1-7.
119	ZHANG H， XU H， XIAO Y， et al. Rethinking the image fusion： A fast unified image fusion network based on proportional maintenance of gradient and intensity［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（7）： 12797-12804.
120	MA J Y， YU W， CHEN C， et al. Pan-GAN： An unsupervised pan-sharpening method for remote sensing image fusion［J］. Information Fusion， 2020， 62： 110-120.
121	XU H， MA J Y， ZHANG X P. MEF-GAN： Multi-exposure image fusion via generative adversarial networks［J］. IEEE Transactions on Image Processing， 2020， 29： 7203-7216.
122	RAO Y J， WU D， HAN M N， et al. AT-GAN： A generative adversarial network with attention and transition for infrared and visible image fusion［J］. Information Fusion， 2023， 92： 336-349.
123	MA J Y， YU W， LIANG P W， et al. FusionGAN： A generative adversarial network for infrared and visible image fusion［J］. Information Fusion， 2019， 48： 11-26.
124	MA J Y， XU H， JIANG J J， et al. DDcGAN： A dual-discriminator conditional generative adversarial network for multi-resolution image fusion［J］. IEEE Transactions on Image Processing， 2020.
125	朱雯青，张宁，李争，等. 基于多任务卷积神经网络的红外与可见光多分辨率图像融合［J］. 光谱学与光谱分析， 2023， 43（1）： 289-296.
	ZHU W Q， ZHANG N， LI Z， et al. A multi-task convolutional neural network for infrared and visible multi-resolution image fusion［J］. Spectroscopy and Spectral Analysis， 2023， 43（1）： 289-296 （in Chinese）.
126	WANG J X， XI X L， LI D M， et al. GRPAFusion： A gradient residual and pyramid attention-based multiscale network for multimodal image fusion［J］. Entropy， 2023， 25（1）： 169.
127	LIU D， YANG F B， WEI H，et al. Remote sensing image fusion method based on discrete wavelet and multiscale morphological transform in the IHS color space［J］. Journal of Applied Remote Sensing， 2020， 14（1）： 016518.
128	SHARMA M. A review ： Image fusion techniques and applications［J］. International Journal of Computer Science and Information Technologies， 2016， 7（3）： 1082-1085.
129	LU N， WU Y P， ZHENG H B， et al. An assessment of multi-view spectral information from UAV-based color-infrared images for improved estimation of nitrogen nutrition status in winter wheat［J］. Precision Agriculture， 2022， 23（5）： 1653-1674.
130	TRINIDAD M C， MARTIN-BRUALLA R， KAINZ F， et al. Multi-view image fusion［C］∥2019 IEEE/CVF International Conference on Computer Vision （ICCV）. IEEE， 2019： 4101-4110.
131	WANG D， CUI X R， CHEN X， et al. Multi-view 3D reconstruction with transformers［C］∥2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2021： 5702-5711.
132	SONG D， ZHANG Z Q， LI W H， et al. Judgment of benign and early malignant colorectal tumors from ultrasound images with deep multi-view fusion［J］. Computer Methods and Programs in Biomedicine， 2022， 215： 106634.
133	AMIN-NAJI M， AGHAGOLZADEH A， EZOJI M. Ensemble of CNN for multi-focus image fusion［J］. Information Fusion， 2019， 51： 201-214.
134	QIN X M， BAN Y X， WU P， et al. Improved image fusion method based on sparse decomposition［J］. Electronics， 2022， 11（15）： 2321.
135	LIU Y， WANG L， LI H F， et al. Multi-focus image fusion with deep residual learning and focus property detection［J］. Information Fusion， 2022， 86： 1-16.
136	MUCHONEY D， HAACK B. Change detection for monitoring forest defoliation［J］. Photogrammetric Engineering and Remote Sensing， 2007， 60： 1243-1251.
137	EZIMAND K， CHAHARDOLI M， AZADBAKHT M， et al. Spatiotemporal analysis of land surface temperature using multi-temporal and multi-sensor image fusion techniques［J］. Sustainable Cities and Society， 2021， 64： 102508.
138	SAUR G， KRÜGER W. Change detection in UAV video mosaics combining a feature based approach and extended image differencing［J］. The International Archives of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2016， XLI-B7： 557-562.
139	WILBURN B， JOSHI N， VAISH V， et al. High-speed videography using a dense camera array［C］∥Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2004.
140	WILBURN B， JOSHI N， VAISH V， et al. High performance imaging using large camera arrays［J］. ACM Transactions on Graphics， 2005， 24（3）： 765-776.

[1]	Shaoyi LI, Mengjie WEI, Junyan YANG, Xi YANG, Zhongjie MENG. Research status and prospects of infrared multi-band imaging terminal guidance technology [J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(20): 630427-630427.
[2]	Chuankai LIU, Zhaoxiang WANG, Junxiong LEI, Zuoyu ZHANG, Kuangang FAN, Jitao ZHANG, Xiaoxue WANG, Hailang PAN, Jianguo LIU. An epipolar relaxation constrained matching algorithm of large-affined images for lunar rover with large span distance in a single movement [J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(2): 328659-328659.
[3]	Zheng YE, Daiyin ZHU, Di WU. SAR image registration algorithm based on echo information of overlapping subaperture [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2023, 44(8): 327254-327254.
[4]	SUN Xiuyi, HU Shaohai, MA Xiaole. Infrared and visible image fusion based on unsupervised deep learning [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2022, 43(S1): 726938-726938.
[5]	WANG Huaxia, CHENG Yongmei, LIU Nan. A robust scene matching method for mountainous regions with illumination variation [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2017, 38(10): 321101-321101.
[6]	LIU Zhongjie, CAO Yunfeng, ZHUANG Likui, DING Meng. Applied Research on Airborne SAR and Optical Image Registration Based on Control Line Method [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2013, 34(9): 2194-2201.
[7]	SHEN Hao, LI Shuxiao, SHEN Yiping, ZHU Chengfei, CHANG Hongxing. Fast Interframe Registration Method in Aerial Videos [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2013, 34(6): 1405-1413.
[8]	LIAO Chao, WANG Guijin, SHEN Yongling, HE Bei, LIN Xinggang. Aerial Video Stitching via Multi-direction Strips [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2012, 33(11): 2065-2073.
[9]	YI Meng, GUO Baolong. Aerial Video Image Registration Method Based on Invariant Features and Mapping Restraint [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2012, 33(10): 1872-1880.
[10]	LONG Yunli, XU Hui, AN Wei, LIN Liangkui. Spatial-temporal Fused Filtering for Infrared Clutter Suppression Based on Restricted Sequential M-estimation [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2011, 32(8): 1531-1541.
[11]	Yang Huijuan;Zhang Jianqiu;Hu Bo. Residual Error Hypercomplex Symplectic Decomposition Approach to Multispectral and Panchromatic Image Fusions [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2009, 30(3): 490-496.
[12]	Wang Yunli;Zhang Xin;Gao Chao;Wang Hui;Zhang Maojun. Feature Matching Based Global Motion Estimation in Aerial Video Mosaicing [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2008, 29(5): 1218-1225.
[13]	NIU Li-pi;MAO Shi-yi;CHEN Wei. Multi-Sensor Image Registration Method Adapted for Larger Scale [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2006, 27(3): 475-480.
[14]	XU Dong;AN Jin-wen. Global Motion Estimation by Fitting Optical Flow in Aerial Video Imagery [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2006, 27(1): 94-97.
[15]	YU Zhen-ming;MAO Shi-yi;GAO Fei. A Multi-Focus Image Fusion Method Based on Gabor Filter [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2005, 26(2): 219-223.

A review of airborne multi-aperture panoramic image compositing

RichHTML

PDF (PC)

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 16

References 140

Related Articles 15

Recommended Articles

Metrics

Comments