多模遥感立体信息获取发展现状与展望

doi:10.7527/S1000-6893.2026.32870

Abstract

Abstract:

Stereoscopic remote sensing information enables comprehensive and accurate characterization of the spatial and multi-dimensional attributes of observed scenes/targets， demonstrating significant application potential in fields such as crop phenotype extraction， vegetation biomass estimation， and military target reconnaissance. With the rapid advancement of remote sensing science， sensor technology， and artificial intelligence， the acquisition of stereoscopic remote sensing information has evolved into a mode characterized by multi-platform collaboration， multi-sensor fusion， and multi-dimensional data processing. However， existing reviews tend to focus on relatively singular platforms， sensors， or data processing methods， lacking a systematic exploration of the overall framework， internal correlations， and developmental logic of this multi-modal stereoscopic remote sensing information acquisition technology system. To address this gap， this paper reviews and summarizes the current developments in multi-modal stereoscopic remote sensing information acquisition from three perspectives： the sky-air-ground multi-platform collaborative detection mode， the image-spectrum-point cloud multi-sensor fusion perception mode， and the 3D reconstruction-heterogeneous registration multi-data processing paradigm. Finally， potential future research directions in multi-modal stereoscopic remote sensing information acquisition are outlined.

Key words: stereoscopic information acquisition, multi-modal remote sensing, multi-platform collaboration, multi-sensor fusion, 3D reconstruction, heterogeneous registration

CLC Number:

Xian LI, Shujian HE, Yanfeng GU. Development status and prospects of multi-modal remote sensing stereoscopic information acquisition[J]. Acta Aeronautica et Astronautica Sinica, 2026, 47(10): 532870.

Figures/Tables 9

Fig.1

Table 1

Different platforms and payloads for stereoscopic information acquisition

平台	传感器	平台型号	国家	年份	主要载荷参数
星载	光学相机	昴宿星卫星^［7］	法国	2012	空间分辨率：0.5~2.0 m 立体观测角度：-40° & 40° 幅宽：20 km
		WorldView-3^［8］	美国	2014	空间分辨率：0.31~1.24 m 立体观测角度：-40° & 40° 幅宽：13.2 km
		高分七号^［9］	中国	2019	空间分辨率：0.65~2.60 m 立体观测角度：-5° & 26° 幅宽：≥20 km
	激光雷达	句芒号^［10］	中国	2022	光束发散角：0.05 mrad 测距精度：0.3 m 重复频率：40/20 Hz
	合成孔径雷达	TerraSAR-X^［11］	德国	2007	空间分辨率：0.25 m×0.80 m 极化：VV-VH-HV-HH
机载	光学相机	柯达DCS Pro^［12］	美国	2004	空间分辨率：5 cm@120 m 立体观测角度：可设置视场角：46.8°
	激光雷达	Riegl miniVUX-3UAV^［13］	奥地利	2020	测距精度：15 mm 重复频率：100/200/300 kHz
	激光雷达	DJI L2^［14］	中国	2023	测距精度：2 cm@150 m 重复频率：240 kHz
	多光谱传感器	双目立体光谱相机系统^［15］	中国	2024	空间分辨率：8 cm@120 m 立体观测角度：±30° & 45° 视场角：47.2° 波段范围：475~840 nm
	高光谱传感器	ULTRIS 5^［16］	德国	2020	空间分辨率：11 cm@120 m 立体观测角度：可设置视场角：15° 波段范围：450~850 nm
地基	光学相机	Sony Alpha 7 IV^［17］	日本	2021	空间分辨率：2 cm@120 m 立体观测角度：可设置视场角：63.4°
	固定式激光雷达	ScanStation P40^［18］	瑞士	2010	测距精度：1.2 mm@270 m 重复频率：1 000 kHz
	车载激光雷达	Trimble MX9^［19］	美国	2018	测距精度：5 mm 重复频率：300/500/750/1 000 kHz
	背包式激光雷达	LiBackpack DGC50H^［20］	美国	2020	测距精度：30/50 mm 重复频率：640 kHz
	手持激光雷达	飞马SLAM200^［21］	中国	2024	测距精度：30 mm 重复频率：640 kHz
	高光谱激光雷达	ATFO-HSL^［22］	中国	2019	测距精度：3.8 mm & 14.7 mm 波段范围：650~1 100 nm 波段数量：91

Table 1

Fig.2

Fig.3

Table 2

Fig.4

Fig.5

Table 3

Table 4

References 154

[1]	国家图书馆研究院. 中共中央国务院印发《数字中国建设整体布局规划》［J］. 国家图书馆学刊， 2023， 32（2）： 69.
	National Library Research Institute. The state council city， the central committee of the communist party of China issued the overall layout plan for digital China construction［J］. Journal of the National Library of China， 2023， 32（2）： 69 （in Chinese）.
[2]	CONTI S. Advancing Earth observation with a multi-modal remote sensing foundation model［J］. Nature Reviews Electrical Engineering， 2025， 2（9）： 590.
[3]	TIWARI S， KUSHWAHA P K， SARASWAT A， et al. Remote sensing： A comprehensive overview of principles and applications［C］∥2023 10th IEEE Uttar Pradesh Section International Conference on Electrical， Electronics and Computer Engineering （UPCON）. Piscataway： IEEE Press， 2023： 101-105.
[4]	MOHAMMADPOUR P， VIEGAS C. Applications of multi‐source and multi‐sensor data fusion of remote sensing for forest species mapping［M］∥Advances in Remote Sensing for Forest Monitoring. Hoboken： John Wiley & Sons， Inc.， 2022： 255-287.
[5]	LIANG D， ZHANG C， ZHANG P F， et al. Evolution of laser technology for automotive LiDAR， an industrial viewpoint［J］. Nature Communications， 2024， 15： 7660.
[6]	SAMADZADEGAN F， TOOSI A， DADRASS JAVAN F. A critical review on multi-sensor and multi-platform remote sensing data fusion approaches： Current status and prospects［J］. International Journal of Remote Sensing， 2025， 46（3）： 1327-1402.
[7]	GLEYZES M A， PERRET L， KUBIK P. Pleiades system architecture and main performances［J］. The International Archives of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2012， 39： 537-542.
[8]	SKAKUN S， KALECINSKI N I， BROWN M G L， et al. Assessing within-field corn and soybean yield variability from WorldView-3， Planet， Sentinel-2， and Landsat 8 satellite imagery［J］. Remote Sensing， 2021， 13（5）： 872.
[9]	TANG H Z， XIE J F， TANG X M， et al. On-orbit radiometric performance of GF-7 satellite multispectral imagery［J］. Remote Sensing， 2022， 14（4）： 886.
[10]	YAO J Q， LU H， XU N， et al. TECIS-CASNet： Atmospheric hierarchy identification and application of the terrestrial ecosystem carbon inventory satellite［J］. International Journal of Digital Earth， 2025， 18： 2541726.
[11]	PITZ W， MILLER D. The TerraSAR-X satellite［J］. IEEE Transactions on Geoscience and Remote Sensing， 2010， 48（2）： 615-622.
[12]	PHANG S K， CHIANG T H A， HAPPONEN A， et al. From satellite to UAV-based remote sensing： A review on precision agriculture［J］. IEEE Access， 2023， 11： 127057-127076.
[13]	HAKULA A， RUOPPA L， LEHTOMÄKI M， et al. Individual tree segmentation and species classification using high-density close-range multispectral laser scanning data［J］. ISPRS Open Journal of Photogrammetry and Remote Sensing， 2023， 9： 100039.
[14]	URBAN R， ŠTRONER M， KOVANIČ L， et al. Testing the accuracy and characteristics of data acquired using DJI Zenmuse L1 and L2 lidar systems and photogrammetric data acquired using DJI Zenmuse P1 in a quarry environment［J］. European Journal of Remote Sensing， 2025， 58： 2595361.
[15]	WANG C， LI X， GU Y F， et al. An adaptive 3D reconstruction method for asymmetric dual-angle multispectral stereo imaging system on UAV platform［J］. Science China Information Sciences， 2024， 67（8）： 182305.
[16]	Cubert. Cubert ULTRIS 5—Compact hyperspectral imaging［EB/OL］. （2025-09-15）［2025-09-18］. .
[17]	SINHA S N， CIORTAN I M， KNEIPHOF T， et al. An Atlas-based approach for appearance-aware virtual 3D restoration and simulation of fading in fugitive textiles［J］. Digital Heritage the Eurographics Association， 2025.
[18]	海克斯康中国. 徕卡测量系统［EB/OL］. （2025-08-25）［2025-09-18］. .
	China Hexagon. Leica geosystems［EB/OL］. （2025-08-25）［2025-09-18］. .
[19]	Trimble. Trimble \| Solutions for construction， geospatial， transportation & more［EB/OL］. （2025-07-25）［2025-09-18］. .
[20]	International GreenValley. LiBackpack DGC50H backpack laser scanning—GreenValley international［EB/OL］. （2025-08-26）［2025-09-18］. .
[21]	深圳飞马机器人股份有限公司北京分公司. 飞马机器人［EB/OL］. （2025-05-14）［2025-09-18］. .
	Shenzhen Feima Robotics Co.， Ltd. Beijing Branch. Feima robotics［EB/OL］. （2025-05-14）［2025-09-18］. （in Chinese）.
[22]	SHAO H， CHEN Y， YANG Z， et al. A 91-channel hyperspectral LiDAR for coal/rock classification［J］. IEEE Geoscience and Remote Sensing Letters， 2019， 17（6）： 1052-1056.
[23]	ZHAO L， WANG H Y， ZHU Y， et al. A review of 3D reconstruction from high-resolution urban satellite images［J］. International Journal of Remote Sensing， 2023， 44（2）： 713-748.
[24]	MASSONNET D， FEIGL K L. Radar interferometry and its application to changes in the Earth’s surface［J］. Reviews of Geophysics， 1998， 36（4）： 441-500.
[25]	张永生，刘军. 高分辨率遥感卫星应用：成像模型、处理算法及应用技术［M］. 3版. 北京：科学出版社， 2020： 23-32.
	ZHANG Y S， LIU J. Application of high resolution remote sensing satellite： Imaging model， processing algorithm and application technology［M］. 3rd ed. Beijing： Science Press， 2020： 23-32 （in Chinese）.
[26]	CHEN J， WANG Y， WANG J， et al. The performance of Landsat-8 and Landsat-9 data for water body extraction based on various water indices： A comparative analysis［J］. Remote Sensing， 2024， 16（11）： 1984.
[27]	HAN X R， ZHANG G Q， WANG J D， et al. Reconstructing Tibetan Plateau lake bathymetry using ICESat-2 photon-counting laser altimetry［J］. Remote Sensing of Environment， 2024， 315： 114458.
[28]	ZHAO X， DONG J， YU Y H， et al. A review of SAR tomography［J］. Geo-spatial Information Science， 2025， 28（5）： 2019-2062.
[29]	RUPNIK E， PIERROT-DESEILLIGNY M， DELORME A. 3D reconstruction from multi-view VHR-satellite images in MicMac［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2018， 139： 201-211.
[30]	GAO J， LIU J， JI S P. A general deep learning based framework for 3D reconstruction from multi-view stereo satellite images［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2023， 195： 446-461.
[31]	LUO H， HE B， GUO R Z， et al. Urban building extraction and modeling using GF-7 DLC and MUX images［J］. Remote Sensing， 2021， 13（17）： 3414.
[32]	TONELLI D， CASPANI V F， VALENTINI A， et al. Interpretation of bridge health monitoring data from satellite InSAR technology［J］. Remote Sensing， 2023， 15（21）： 5242.
[33]	BERENGER Z， DENIS L， TUPIN F， et al. A deep-learning approach for SAR tomographic imaging of forested areas［J］. IEEE Geoscience and Remote Sensing Letters， 2023， 20： 4007405.
[34]	WANG C S， ZHU C H， WANG X S， et al. A new object-oriented SAR interferometry framework for monitoring urban deformation［J］. IEEE Transactions on Geoscience and Remote Sensing， 2024， 62： 5227011.
[35]	DUBOVIK O， SCHUSTER G L， XU F， et al. Grand challenges in satellite remote sensing［J］. Frontiers in Remote Sensing， 2021， 2： 619818.
[36]	ZHOU Y K. Unmanned aerial vehicles based low-altitude economy with lifecycle techno-economic-environmental analysis for sustainable and smart cities［J］. Journal of Cleaner Production， 2025， 499： 145050.
[37]	One Phase. PhaseOne high-resolution imagery： Aerial & camera solutions［EB/OL］. （2025-04-28）［2025-09-18］. .
[38]	SERVI M， PROFILI A， FURFERI R， et al. Comparative evaluation of Intel RealSense D415， D435i， D455， and Microsoft Azure Kinect DK sensors for 3D vision applications［J］. IEEE Access， 2024， 12： 111311-111321.
[39]	李芳芳，刘宁，李新武，等. 层析SAR技术研究进展［J］. 雷达科学与技术， 2021， 19（5）： 610-624， 464.
	LI F F， LIU N， LI X W， et al. Research progress on tomographic SAR techniques［J］. Radar Science and Technology， 2021， 19（5）： 610-624， 464 （in Chinese）.
[40]	WANG D L， SHAO Q Q， YUE H Y. Surveying wild animals from satellites， manned aircraft and unmanned aerial systems （UASs）： A review［J］. Remote Sensing， 2019， 11（11）： 1308.
[41]	YE D， ZHANG R. Application research on binocular vision systems for unmanned aerial vehicles in underground coal mines［C］∥Fourth International Conference on Machine Vision， Automatic Identification， and Detection （MVAID 2025）. Bellingham： SPIE， 2025： 93.
[42]	FERNÁNDEZ-GUISURAGA J， SANZ-ABLANEDO E， SUÁREZ-SEOANE S， et al. Using unmanned aerial vehicles in postfire vegetation survey campaigns through large and heterogeneous areas： Opportunities and challenges［J］. Sensors， 2018， 18（2）： 586.
[43]	MENG Q Y， XUE P C， XIE X J， et al. Research on a wide-area power transmission line LiDAR inspection system based on AB dual remote control， cloud PPK， and remote takeoff-and-landing hop-fly technology［J］. IET Conference Proceedings， 2025， 2024（25）： 261-266.
[44]	PILARSKA-MAZUREK M， OSTROWSKI W， ZACHAR P， et al. Comparison of DJI Zenmuse L1 and RIEGL miniVUX-3UAV data for DTM generation in the forestry area for archaeological purposes［J］. The International Archives of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2025， 48： 103-108.
[45]	LIU H P. Classification of urban tree species using multi-features derived from four-season RedEdge-MX data［J］. Computers and Electronics in Agriculture， 2022， 194： 106794.
[46]	SAVARESE C， GARGIULO M， TUFANO F， et al. Hyperspectral features for contaminated soil detection［C］∥IGARSS 2024-2024 IEEE International Geoscience and Remote Sensing Symposium. Piscataway： IEEE Press， 2024： 4366-4371.
[47]	LIU T Z， HU B Y， GU Y F， et al. An enhanced classification method based on adaptive multi-scale fusion for long-tailed multispectral point clouds［J］. Science China Information Sciences， 2025， 68（8）： 182302.
[48]	BINEY J K M， SABERIOON M， BORŮVKA L， et al. Exploring the suitability of UAS-based multispectral images for estimating soil organic carbon： Comparison with proximal soil sensing and spaceborne imagery［J］. Remote Sensing， 2021， 13（2）： 308.
[49]	LIU W Y， REN Y F， GUO R， et al. Slope inspection under dense vegetation using LiDAR-based quadrotors［J］. Nature Communications， 2025， 16： 7411.
[50]	NAGASAWA R， MAS E， MOYA L， et al. Model-based analysis of multi-UAV path planning for surveying postdisaster building damage［J］. Scientific Reports， 2021， 11： 18588.
[51]	REMONDINO F. Heritage recording and 3D modeling with photogrammetry and 3D scanning［J］. Remote Sensing， 2011， 3（6）： 1104-1138.
[52]	AHN M S， CHAE H， NOH D， et al. Analysis and noise modeling of the Intel RealSense D435 for mobile robots［C］∥2019 16th International Conference on Ubiquitous Robots （UR）. Piscataway： IEEE Press， 2019： 707-711.
[53]	龚威，史硕，陈必武，等. 对地观测高光谱激光雷达发展及展望［J］. 遥感学报， 2021， 25（1）： 501-513.
	GONG W， SHI S， CHEN B W， et al. Development and prospect of hyperspectral LiDAR for earth observation［J］. Journal of Remote Sensing， 2021， 25（1）： 501-513 （in Chinese）.
[54]	WANG B H， SONG S L， GONG W， et al. Color restoration for full-waveform multispectral LiDAR data［J］. Remote Sensing， 2020， 12（4）： 593.
[55]	VERMA S， GANGWAR T， SINGH J， et al. Urban air quality monitoring and modelling using ground monitoring， remote sensing， and GIS［M］∥MUSHTAQ F， FAROOQ M， MUKHERJEE A B， et al.Geospatial Analytics for Environmental Pollution Modeling： Analysis， Control and Management. Cham： Springer Nature Switzerland， 2023： 213-247.
[56]	GEIGER A， LENZ P， URTASUN R. Are we ready for autonomous driving？ The KITTI vision benchmark suite［C］∥2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2012： 3354-3361.
[57]	KNAPITSCH A， PARK J， ZHOU Q Y， et al. Tanks and temples： Benchmarking large-scale scene reconstruction［J］. ACM Transactions on Graphics， 2017， 36（4）： 1-13.
[58]	DAI A， CHANG A X， SAVVA M， et al. ScanNet： Richly-annotated 3D reconstructions of indoor scenes［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 2432-2443.
[59]	ARYAN A， BOSCHÉ F， TANG P B. Planning for terrestrial laser scanning in construction： A review［J］. Automation in Construction， 2021， 125： 103551.
[60]	LI Y Q， TOK A Y C， SUN Z， et al. LiDAR vehicle point cloud reconstruction framework for axle-based classification［J］. IEEE Sensors Journal， 2023， 23（11）： 11168-11180.
[61]	ZHAO Z F， GAN S， XIAO B， et al. Three-dimensional reconstruction of zebra crossings in vehicle-mounted LiDAR point clouds［J］. Remote Sensing， 2024， 16（19）： 3722.
[62]	SHAO J Y， LIN Y C， WINGREN C， et al. Large-scale inventory in natural forests with mobile LiDAR point clouds［J］. Science of Remote Sensing， 2024， 10： 100168.
[63]	WANG Y J， CHEN Q， ZHU Q， et al. A survey of mobile laser scanning applications and key techniques over urban areas［J］. Remote Sensing， 2019， 11（13）： 1540.
[64]	CHEN B W， SHI S， SUN J， et al. Hyperspectral lidar point cloud segmentation based on geometric and spectral information［J］. Optics Express， 2019， 27（17）： 24043.
[65]	DEMOL M， VERBEECK H， GIELEN B， et al. Estimating forest above-ground biomass with terrestrial laser scanning： Current status and future directions［J］. Methods in Ecology and Evolution， 2022， 13（8）： 1628-1639.
[66]	ZHOU B， ZHANG S B， XUE R B， et al. A review of Space-Air-Ground integrated remote sensing techniques for atmospheric monitoring［J］. Journal of Environmental Sciences， 2023， 123： 3-14.
[67]	KAROFF C， VARA-VELA A L， EIKELAND A Z， et al. Remote sensing for quantifying greenhouse gas emissions at carbon capture， utilisation and storage facilities： A review［J］. Remote Sensing， 2025， 17（22）： 3707.
[68]	DWIVEDI A K， SINGH A K， SINGH D. An object based image analysis of multispectral satellite and drone images for precision agriculture monitoring［C］∥IGARSS 2022-2022 IEEE International Geoscience and Remote Sensing Symposium. Piscataway： IEEE Press， 2022： 4899-4902.
[69]	ZHANG Q， HUGHES N. Ice floe segmentation and floe size distribution in airborne and high-resolution optical satellite images： Towards an automated labelling deep learning approach［J］. The Cryosphere， 2023， 17（12）： 5519-5537.
[70]	LIU C， XING C Z， HU Q H， et al. Stereoscopic hyperspectral remote sensing of the atmospheric environment： Innovation and prospects［J］. Earth-Science Reviews， 2022， 226： 103958.
[71]	DUBAYAH R， BLAIR J B， GOETZ S， et al. The global ecosystem dynamics investigation： High-resolution laser ranging of the Earth’s forests and topography［J］. Science of Remote Sensing， 2020， 1： 100002.
[72]	KIRSCH M， LORENZ S， ZIMMERMANN R， et al. Integration of terrestrial and drone-borne hyperspectral and photogrammetric sensing methods for exploration mapping and mining monitoring［J］. Remote Sensing， 2018， 10（9）： 1366.
[73]	LI J， PENG Y P， TANG Z Y， et al. Three-dimensional reconstruction of railway bridges based on unmanned aerial vehicle-terrestrial laser scanner point cloud fusion［J］. Buildings， 2023， 13（11）： 2841.
[74]	XIN Y H， WANG R， WANG X， et al. High-resolution terrain reconstruction of slot canyon using backpack mobile laser scanning and UAV photogrammetry［J］. Drones， 2022， 6（12）： 429.
[75]	ZHA C X， BU L B， LI Z， et al. Aerosol optical property measurement using the orbiting high-spectral-resolution lidar on board the DQ-1 satellite： Retrieval and validation［J］. Atmospheric Measurement Techniques， 2024， 17（14）： 4425-4443.
[76]	WANG L R， GE J J， ZHENG G X， et al. New optics and SAR co-aperture imaging system that integrates flat film optical grating and phased array antenna［C］∥Sixth Conference on Frontiers in Optical Imaging and Technology： Applications of Imaging Technologies. Bellingham： SPIE， 2024： 46.
[77]	FRANCIS R J， KINGSFORD R T， MOSEBY K， et al. Tracking landscape scale vegetation change in the arid zone by integrating ground， drone and satellite data［J］. Remote Sensing in Ecology and Conservation， 2024， 10（3）： 374-387.
[78]	CHENG X L， HUANG Y M， LIU X Y， et al. Scale-adaptive registration of Airborne and Terrestrial LiDAR point clouds for urban scenes based on topological graphs［J］. International Journal of Remote Sensing， 2025， 46（15）： 5576-5600.
[79]	GU Y F， WANG C， LI X. An intensity-independent stereo registration method of push-broom hyperspectral scanner and LiDAR on UAV platforms［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 5540014.
[80]	ZHANG W K， LI Y. A spatio-temporal-spectral fusion framework for downscaling Sentinel-2 images using UAV images［J］. International Journal of Remote Sensing， 2025， 46（3）： 1257-1278.
[81]	WANG C， GU Y F， LI X. LPRnet： A self-supervised registration network for LiDAR and photogrammetric point clouds［J］. IEEE Transactions on Geoscience and Remote Sensing， 2025， 63： 4404012.
[82]	陈豹，王品贺，董秋雷. 利用全局仿射模型进行卫星图像快速三维重建［J］. 遥感学报， 2024， 28（6）： 1576-1587.
	CHEN B， WANG P H， DONG Q L. Fast 3D reconstruction of satellite images via the Global Affine Model［J］. National Remote Sensing Bulletin， 2024， 28（6）： 1576-1587 （in Chinese）.
[83]	DRONOVA M， CHEREMNYKH V， KOTCOV A， et al. FlyNeRF： NeRF-based aerial mapping for high-quality 3D scene reconstruction［C］∥2024 International Conference on Unmanned Aircraft Systems （ICUAS）. Piscataway： IEEE Press， 2024： 1050-1055.
[84]	KOTOVENKO D， GREBENKOVA O， OMMER B. EDGS： Eliminating densification for efficient convergence of 3DGS［DB/OL］. arXiv preprint： 2504.13204， 2025.
[85]	NEWCOMBE R A， IZADI S， HILLIGES O， et al. KinectFusion： Real-time dense surface mapping and tracking［C］∥2011 10th IEEE International Symposium on Mixed and Augmented Reality. Piscataway： IEEE Press， 2011： 127-136.
[86]	MA T F， XING Y X， GONG D W， et al. A deep learning-based hyperspectral keypoint representation method and its application for 3D reconstruction［J］. IEEE Access， 2022， 10： 85266-85277.
[87]	LI W， CHEN M， HUANG M X， et al. Registration of aerial images and LiDAR point clouds by exploiting global-local geometric constraints of buildings［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2025， 18： 11093-11110.
[88]	WANG C， GU Y F， LI X. A robust multispectral point cloud generation method based on 3-D reconstruction from multispectral images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2023， 61： 5407612.
[89]	FARENZENA M， FUSIELLO A， GHERARDI R. Structure-and-motion pipeline on a hierarchical cluster tree［C］∥2009 IEEE 12th International Conference on Computer Vision Workshops， ICCV Workshops. Piscataway： IEEE Press， 2009： 1489-1496.
[90]	VIJAYANARASIMHAN S， RICCO S， SCHMID C， et al. SFM-Net： Learning of structure and motion from video［DB/OL］. arXiv preprint： 1704.07804， 2017.
[91]	ZHU S Y， ZHANG R Z， ZHOU L， et al. Very large-scale global SFM by distributed motion averaging［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 4568-4577.
[92]	YAO Y， LUO Z X， LI S W， et al. MVSNet： Depth inference for unstructured multi-view stereo［M］∥Computer Vision-ECCV 2018. Cham： Springer International Publishing， 2018： 785-801.
[93]	ROMANONI A， MATTEUCCI M. TAPA-MVS： Textureless-aware PAtchMatch multi-view stereo［C］∥ 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2019： 10412-10421.
[94]	CHEN R， HAN S F， XU J， et al. Point-based multi-view stereo network［C］∥2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2019： 1538-1547.
[95]	MILDENHALL B， SRINIVASAN P P， TANCIK M， et al. NeRF： Representing scenes as neural radiance fields for view synthesis［C］∥New York： ACM， 2021： 99-106.
[96]	PUMAROLA A， CORONA E， PONS-MOLL G， et al. D-NeRF： Neural radiance fields for dynamic scenes［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 10313-10322.
[97]	PARK K， SINHA U， HEDMAN P， et al. HyperNeRF： A higher-dimensional representation for topologically varying neural radiance fields［J］. ACM Transactions on Graphics， 2021， 40（6）： 1-12.
[98]	XU Q G， XU Z X， PHILIP J， et al. Point-NeRF： Point-based neural radiance fields［C］∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 5428-5438.
[99]	MÜLLER T， EVANS A， SCHIED C， et al. Instant neural graphics primitives with a multiresolution hash encoding［J］. ACM Transactions on Graphics， 2022， 41（4）： 1-15.
[100]	KERBL B， KOPANAS G， LEIMKUEHLER T， et al. 3D Gaussian splatting for real-time radiance field rendering［J］. ACM Transactions on Graphics， 2023， 42（4）： 1-14.
[101]	DAI B， JIANG L H， LU T， et al. GSDF： 3DGS meets SDF for improved neural rendering and reconstruction［C］∥Advances in Neural Information Processing Systems 37. Neural Information Processing Systems Foundation. Vancouver： NeurIPS， 2024： 129507-129530.
[102]	CHELLAPPA R， FAN D L， LEE Y， et al. LP-3DGS： Learning to prune 3D Gaussian splatting［C］∥Advances in Neural Information Processing Systems 37. Neural Information Processing Systems Foundation. Vancouver： NeurIPS， 2024： 122434-122457.
[103]	LIU Y F， ZHONG Z H， ZHAN Y F， et al. MaskGaussian： Adaptive 3D Gaussian representation from probabilistic masks［C］∥2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2025： 681-690.
[104]	LIU S H， CHEN X， CHEN H M， et al. DeRainGS： Gaussian splatting for enhanced scene reconstruction in rainy environments［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2025， 39（5）： 5558-5566.
[105]	WANG J Y， CHEN M H， KARAEV N， et al. VGGT： Visual geometry grounded transformer［C］∥2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2025： 5294-5306.
[106]	张弛. 不同视角情况下非立体卫星影像的三维重建研究［D］. 哈尔滨：哈尔滨工程大学， 2024.
	ZHANG C. Research on three-dimensional reconstruction of non-stereo satellite images with different view conditions［D］. Harbin： Harbin Engineering University， 2024 （in Chinese）.
[107]	FACCIOLO G， DE FRANCHIS C， MEINHARDT-LLOPIS E. Automatic 3D reconstruction from multi-date satellite images［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway： IEEE Press， 2017： 1542-1551.
[108]	李洋，胥海燕，颜青松，等. 单张卫星影像的建筑自动化三维重建［J］. 测绘科学， 2024， 49（1）： 132-142.
	LI Y， XU H Y， YAN Q S， et al. Automatic 3D reconstruction of buildings under single satellite images［J］. Science of Surveying and Mapping， 2024， 49（1）： 132-142 （in Chinese）.
[109]	MAO Y Q， CHEN K Q， ZHAO L J， et al. Elevation estimation-driven building 3-D reconstruction from single-view remote sensing imagery［J］. IEEE Transactions on Geoscience and Remote Sensing， 2023， 61： 5608718.
[110]	LI W J， HU Z H， MENG L X， et al. Weakly supervised 3-D building reconstruction from monocular remote sensing images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2024， 62： 5615315.
[111]	JEONG W， KIM J， KWEON H， et al. Multi-view 3D scene abstraction from drone-captured RGB images［J］. IEEE Access， 2025， 13： 27641-27656.
[112]	MOULON P， MONASSE P， MARLET R. Global fusion of relative motions for robust， accurate and scalable structure from motion［C］∥2013 IEEE International Conference on Computer Vision. Piscataway： IEEE Press， 2013： 3248-3255.
[113]	FURUKAWA Y， PONCE J. Accurate， dense， and robust multiview stereopsis［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（8）： 1362-1376.
[114]	WANG P， LIU Y， CHEN Z X， et al. F2-NeRF： Fast neural radiance field training with free camera trajectories［C］∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 4150-4159.
[115]	SOMRAJ N， SOUNDARARAJAN R. ViP-NeRF： Visibility prior for sparse input neural radiance fields［C］∥ACM SIGGRAPH 2023 Conference Proceedings. New York： ACM， 2023： 1-11.
[116]	BARHDADI M R， KURBAN H， ALNUWEIRI H. PhysicsNeRF： Physics-guided 3D reconstruction from sparse views［DB/OL］. arXiv preprint： 2505.23481， 2025.
[117]	XIONG H， MUTTUKURU S， UPADHYAY R， et al. SparseGS： Real-time 360° sparse view synthesis using gaussian splatting［DB/OL］. arXiv preprint： 2312.00206， 2023.
[118]	YANG X R， LI H， ZHAI H J， et al. Vox-fusion： Dense tracking and mapping with voxel-based neural implicit representation［C］∥2022 IEEE International Symposium on Mixed and Augmented Reality （ISMAR）. Piscataway： IEEE Press， 2022： 499-507.
[119]	LI L Z， SHEN L， SHEN Z， et al. Streaming radiance fields for 3D video synthesis［C］∥Advances in Neural Information Processing Systems 35. Neural Information Processing Systems Foundation. New Orleans： NeurIPS， 2022： 13485-13498.
[120]	CHEN Z Q， FUNKHOUSER T， HEDMAN P， et al. MobileNeRF： Exploiting the polygon rasterization pipeline for efficient neural field rendering on mobile architectures［C］∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 16569-16578.
[121]	LUITEN J， KOPANAS G， LEIBE B， et al. Dynamic 3D Gaussians： Tracking by persistent dynamic view synthesis［C］∥2024 International Conference on 3D Vision （3DV）. Piscataway： IEEE Press， 2024： 800-809.
[122]	QI C R， YI L， SU H， et al. PointNet++： Deep hierarchical feature learning on point sets in a metric space［C］∥Proceedings of the 31st International Conference on Neural Information Processing Systems. New York： ACM， 2017： 5105-5114.
[123]	CHEN L， HU B N， WANG J， et al. G²-mapping： General Gaussian mapping for monocular， RGB-D， and LiDAR-inertial-visual systems［J］. IEEE Transactions on Automation Science and Engineering， 2025， 22： 12347-12357.
[124]	FENG L Z， ZOU R T， SUN C， et al. Review of three-dimensional reconstruction based on hyperspectral imaging［M］∥Communications， Signal Processing， and Systems. Singapore： Springer Nature Singapore， 2024： 461-470.
[125]	DEHGHAN Z， YANG J X， KHADER A， et al. Learning spectral-spatial-former deep prior for hyperspectral image superresolution［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2025， 18： 17926-17943.
[126]	丁国绅. 基于高光谱图像的多视图三维重构研究［D］. 合肥：中国科学技术大学， 2021.
	DING G S. Research on multi-view 3D reconstruction based on hyperspectral image［D］. Hefei： University of Science and Technology of China， 2021 （in Chinese）.
[127]	王鹏. 面向三维重建的高光谱图像降维方法研究［D］. 武汉：武汉大学， 2019.
	WANG P. Research on dimensionality reduction method of hyperspectral image for 3D reconstruction［D］. Wuhan： Wuhan University， 2019 （in Chinese）.
[128]	ZHANG J X. Multi-source remote sensing data fusion： Status and trends［J］. International Journal of Image and Data Fusion， 2010， 1（1）： 5-24.
[129]	ZHANG X T， HUANG W， WANG Q， et al. SSR-NET： Spatial-spectral reconstruction network for hyperspectral and multispectral image fusion［J］. IEEE Transactions on Geoscience and Remote Sensing， 2021， 59（7）： 5953-5965.
[130]	ZHU J W， XU Y S， YE Z， et al. Fusion of urban 3D point clouds with thermal attributes using MLS data and TIR image sequences［J］. Infrared Physics & Technology， 2021， 113： 103622.
[131]	ZHANG W N， ZHOU F Q， LIU Y， et al. Object defect detection based on data fusion of a 3D point cloud and 2D image［J］. Measurement Science and Technology， 2023， 34（2）： 025002.
[132]	WANG S J， KANG Q Y， SHE R， et al. PRFusion： Toward effective and robust multi-modal place recognition with image and point cloud fusion［J］. IEEE Transactions on Intelligent Transportation Systems， 2024， 25（12）： 20523-20534.
[133]	HUANG H， MICHELINI M， SCHMITZ M， et al. LOD3 building reconstruction from multi-source images［J］. The International Archives of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2020， 43： 427-434.
[134]	XU C， LIU C， LI H L， et al. Multiview image matching of optical satellite and UAV based on a joint description neural network［J］. Remote Sensing， 2022， 14（4）： 838.
[135]	WANG Y， BU S H， CHEN L， et al. HybridFusion： LiDAR and vision cross-source point cloud fusion［J］. IEEE Robotics and Automation Letters， 2024， 9（2）： 1139-1146.
[136]	SHI Y J， LI H D， PERINCHERRY A， et al. Weakly-supervised camera localization by ground-to-satellite image registration［C］∥Computer Vision-ECCV 2024. Cham： Springer Nature Switzerland， 2024： 39-57.
[137]	LIAGHAT A， HELFROUSH M S， NOROUZI J， et al. Airborne SAR to optical image registration based on SAR georeferencing and deep learning approach［J］. IEEE Sensors Journal， 2023， 23（21）： 26446-26458.
[138]	HU D， YUAN X， XI H Y， et al. Road structure inspired UGV-satellite cross-view geo-localization［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2024， 17： 16767-16786.
[139]	WU Z R， SONG S R， KHOSLA A， et al. 3D ShapeNets： A deep representation for volumetric shapes［C］∥2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2015： 1912-1920.
[140]	CHANG A X， FUNKHOUSER T， GUIBAS L， et al. ShapeNet： An information-rich 3D model repository［DB/OL］. arXiv preprint： 1512.03012， 2015.
[141]	GUO Y W， LI Y Q， REN D Y， et al. LiDAR-Net： A real-scanned 3D point cloud dataset for indoor scenes［C］∥2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2024： 21989-21999.
[142]	VAN ETTEN A， HOGAN D， MANSO J M， et al. The multi-temporal urban development SpaceNet dataset［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 6394-6403.
[143]	CHEN L K， GU Y F， LI X. Unsupervised occluded target detection based on spherical shell with multispectral point clouds［J］. IEEE Transactions on Geoscience and Remote Sensing， 2025， 63： 4413413.
[144]	GRSS-IEEE. 2013 IEEE GRSS data fusion contest – GRSS-IEEE［EB/OL］. （2013-09-19）［2025-09-20］. .
[145]	GRSS-IEEE. 2018 IEEE GRSS data fusion challenge-Fusion of multispectral LiDAR and hyperspectral data-Machine learning and signal processing laboratory［EB/OL］. （2018-07-25）［2025-09-20］. .
[146]	JIANG Y Z， GU Y F， LI X. Pillar-voxel fusion network for 3D object detection in airborne hyperspectral point clouds［J］. Science China Information Sciences， 2026， 69： 112301.
[147]	JIANG J， LIU Q， YU H， et al. MonoMVSNet： Monocular priors guided multi-view stereo network［C］∥Proceedings of the IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE Press， 2025： 27806-27816.
[148]	WU H， ZHAO S J， HUANG X， et al. Commonsense prototype for outdoor unsupervised 3D object detection［C］∥2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2024： 14968-14977.
[149]	WANG Y C， TONG L， LUO S Y， et al. A multiscale and multidirection feature fusion network for road detection from satellite imagery［J］. IEEE Transactions on Geoscience and Remote Sensing， 2024， 62： 5615718.
[150]	CHEN X， SUN J M， XIE Y M， et al. NeuralRecon： Real-time coherent 3D scene reconstruction from monocular video［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2024， 46（12）： 7542-7555.
[151]	SZYMANOWICZ S， RUPPRECHT C， VEDALDI A. Splatter Image： Ultra-fast single-view 3D reconstruction［C］∥2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2024： 10208-10217.
[152]	ZHAO Y F， CHEN L N， HU B W， et al. HR-Net： Point cloud registration with hierarchical coarse-to-fine regression network［J］. Computers and Electrical Engineering， 2024， 113： 109056.
[153]	LI D K， NEIRA-MOLINA H， HUANG M X， et al. CSTFNet： A CNN and dual Swin-transformer fusion network for remote sensing hyperspectral data fusion and classification of coastal areas［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2025， 18： 5853-5865.
[154]	HE Y， TU B， LIU B， et al. Hybrid multiscale spatial-spectral transformer for hyperspectral image classification［J］. IEEE Transactions on Geoscience and Remote Sensing， 2024， 62： 1-18.

类别	方法名称	方法特点	不足	适用场景
三维重建	基于全局式仿射模型的卫星图像重建^［82］	基于局部点云进行全局仿射运动估计	弱纹理区域精度受限	卫星图像三维重建
	FlyNeRF^［83］	应用于无人机场景	动态场景重建受限	无人机图像三维重建
	EDGS^［84］	去致密化快速重建	依赖初始匹配精度	高精度地形重建
	KinectFusion^［85］	实时三维重建	计算资源消耗大	动态环境监测
	HSSPN^［86］	全光谱特征利用自监督伪标签生成	算法复杂度高	含光谱信息的模型重建
异源配准	LPRnet^［81］	多尺度掩码训练无需监督信息	实时场景重建受限	机载激光雷达点云、摄影测量点云配准
	基于拓扑图的点云尺度自适应配准^［78］	拓扑图构建	算法复杂度较高	机载激光雷达点云、地基激光雷达点云配准
	基于建筑物特征的图像-点云配准^［87］	全局-局部约束	算法匹配基元单一	机载RGB图像、地基激光雷达点云配准

数据集	名称	类型	基本参数				结果图像/重建
数据集	名称	类型	分辨率/点云密度/ 精度/其他	光谱范围/nm	波段数量	场景/类别数量	结果图像/重建
多视角RGB 图像	KITTI^［56］	RGB	分辨率1 242×375	450~680	3	3
	Tanks and temples^［57］	RGB	分辨率3 840×2 160	450~680	3	21
	Tanks and temples^［57］	RGB	分辨率1 600×1 200	450~680	3	21
	ScanNet^［58］	RGB	分辨率1 296×698	450~680	3	1 513
	ScanNet^［58］	深度图	分辨率640×480	450~680	3	1 513
激光雷达点云	ModelNet^［139］	模型	模型数量151 128	450~680	3	660
	ShapeNet^［140］	点云	模型数量63 300	450~680	3	325
	LiDAR-Net^［141］	点云	点云总量3 619 M	450~680	3	24
多视角多光谱图像	SpaceNet^［142］	多光谱	分辨率650×650	400~1 040	8	101
多视角多光谱图像	Multispectral dataset for HIT Campus^［143］	多光谱	分辨率1 280×960	444~842	10	2
高光谱点云	Houston2013^［144］	高光谱	分辨率349×1 905	380~1 050	144	15
	Houston2013^［144］	点云	分辨率2.5 m	380~1 050	144	15
	Houston2018^［145］	高光谱	分辨率601×2 384	380~1 050	50	20
	Houston2018^［145］	点云	点云密度39 pts/m²；地面采样间隔0.5 m	531、1 064、1 550	3	20
	Hyperspectral dataset for HIT Campus^{［79，146］}	高光谱	分辨率640×1 472	400~1 000	273	2
	Hyperspectral dataset for HIT Campus^{［79，146］}	点云	点云密度84，169 pts/m²	450~680	3	2

应用场景	数据集名称	SOTA方法	指标	精度
深度估计	Tanks and temples^［57］	MonoMVSNet^［147］	F分数/%	68.63
物体检测	KITTI^［56］	CPD^［148］	平均精度均值@0.5/%	90.85
	LiDAR-Net^［141］	GroupFree3D^［141］	平均精度均值@0.25/%	46.80
	SpaceNet^［142］	MSMDFF-Net^［149］（Multiscale and Multidirection Feature Fusion Network）	F1分数/%	74.98
	Multispectral dataset for HIT Campus^［143］	无人机场景遮挡目标的无监督立体检测^［143］	曲线下面积	0.987 5
三维重建	ScanNet^［58］	NeuralRecon^［150］	F分数/%	57.9
三维重建	ShapeNet^［140］	Splatter Image^［151］	峰值信噪比	24
点云配准	ModelNet^［139］	HR-Net^［152］	相对旋转误差	1.197 0
图像分类	Houston2013^［144］	CSTFNet^［153］（CNN and Dual Swin-Transformer Fusion Network）	全局准确性/%	99.60
图像分类	Houston2018^［145］	HMSSF^［154］	全局准确性/%	96.73
坐标定位	Hyperspectral dataset for HIT Campus^{［79，146］}	立体定位^［79］	均方根误差/m	0.527 3

Development status and prospects of multi-modal remote sensing stereoscopic information acquisition

RichHTML

PDF (PC)

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 9

References 154

Related Articles 7

Recommended Articles

Metrics

Comments

[1]	Xu TANG, Feng GU, Jingjing MA, Xiangrong ZHANG. Hyperspectral-LiDAR joint classification method based on vision-language pre-trained models [J]. Acta Aeronautica et Astronautica Sinica, 2026, 47(10): 139-158.
[2]	Qiushi CHEN, Jinglong GAO, Meng WANG, Wenkun BIAN, Haojun HAN. Overview of anti-interference technology of unmanned aerial vehicle satellite navigation system [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(17): 331797-331797.
[3]	Zhihao LI, Biao ZHANG, Jian LI, Chuanlong XU, Zhaolong SONG. Reconstruction of three-dimensional refractive index field of premixed swirl combustion flame [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2023, 44(4): 126480-126480.
[4]	CHEN Bo, YUE Kai, WANG Rusheng, HU Mingnan. Learning-based multi-rate multi-sensor fusion localization method [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2022, 43(S1): 726904-726904.
[5]	YANG Yang, ZHU Xingyi, ZHAO Hongduo. Aircraft tire hydroplaning behavior based on real texture of surface runway model [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2022, 43(1): 124813-124813.
[6]	ZHANG Yingkang, XIAO Yang. Optimal Reconstruction Algorithm for 3D Terrain Information Based on 1D Range Data of Airborne Single-antenna Radar [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2011, 32(7): 1292-1301.
[7]	Wei Zhenzhong;Li Suqi;Zhang Guangjun. 3D Reconstruction Method of Terrain Contour Features Based on Stereo Vision [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2009, 30(6): 1070-1076.