一种基于混合专家组的多模态航天遥感图像统一检测模型

doi:10.7527/S1000-6893.2025.32864

航天遥感图像智能处理与分析专刊

本期目录 | 过刊浏览 | 高级检索

前一篇 |

一种基于混合专家组的多模态航天遥感图像统一检测模型

支元杰¹, 葛欣¹, 张帆², 杨知³, 马明阳¹, 梅少辉¹()

^1.西北工业大学电子信息学院，西安 710129
^2.中国运载火箭技术研究院，北京 100076
^3.国网电力工程研究院有限公司，北京 102209

收稿日期:2025-10-09 修回日期:2025-11-06 接受日期:2025-12-11 出版日期:2025-12-25 发布日期:2025-12-23
通讯作者: 梅少辉 E-mail:meish@nwpu.edu.cn
基金资助:
国家自然科学基金(62571442);国家自然科学基金(62006193)

A unified detection model for multimodal aerospace remote sensing images based on mixture of experts

Yuanjie ZHI¹, Xin GE¹, Fan ZHANG², Zhi YANG³, Mingyang MA¹, Shaohui MEI¹()

^1.School of Electronic Information，Northwestern Polytechnical University，Xi’an 710129，China
^2.China Academy of Launch Vehicle Technology，Beijing 100076，China
^3.State Grid Electric Power Engineering Research Institute Co. ，Ltd. ，Beijing 102209，China

Received:2025-10-09 Revised:2025-11-06 Accepted:2025-12-11 Online:2025-12-25 Published:2025-12-23
Contact: Shaohui MEI E-mail:meish@nwpu.edu.cn
Supported by:
National Natural Science Foundation of China(62571442)

摘要/Abstract

摘要：

随着中国在轨部署的遥感卫星数量逐年增加，以合成孔径雷达与可见光图像为代表的航天遥感图像数量正在快速增多，从这些海量数据中开展目标检测等任务的需求也在快速上升。然而，由于成像机制、分辨率差异等客观因素的限制，不同卫星之间的图像存在着明显的模态特征差异，这种差异在合成孔径雷达（SAR）和可见光（RGB）的遥感图像之间表现得尤为显著，使得单一模型难以学习不同类型遥感图像的特征信息，进而导致每颗卫星都需要相应的专用模型以进行检测任务，这已成为卫星遥感图像协同识别和接力探测应用的主要障碍。针对这一问题，创新性地提出基于混合专家组（MoE）的自蒸馏多模态检测模型。首先，构建基于模态感知的MoE架构，将结构中的少数高质量专家作为教师以指导其他专家，同时结合模态不变性约束，进一步减小跨模态特征偏移。其次，通过构建傅里叶增强扩散检测头，结合频域特征增强，提升了对检测目标的细节捕捉能力。为测试模型性能，从公共数据集FAIR1M和SARDet_100K中分别选取其中的航天图像并进行裁剪处理，得到包含不同背景和成像机制下用于目标检测的68 983张航天遥感图像的数据集。实验结果显示，与已有的单模态检测方法相比，所提模型在两类模态目标检测任务中表现更优，平均精度（mAP）有显著提升，这充分证明了所提模型在多模态航天遥感图像目标检测上有较好的应用价值，在多类卫星遥感图像上均有较好的适用性。

关键词: 目标检测, 多模态航天遥感图像, 混合专家组, 自蒸馏, 傅里叶变换, 扩散模型

Abstract:

With the increasing number of remote sensing satellites deployed in orbit in China， the quantity of aerospace remote sensing images， represented by Synthetic Aperture Radar （SAR） and optical （RGB） images， is rapidly growing， along with the demand for tasks such as object detection from these massive datasets. However， due to objective factors such as differences in imaging mechanisms and resolutions， images from different satellites exhibit significant modality feature differences. These differences are particularly pronounced between SAR and RGB remote sensing images， making it difficult for a single model to learn feature information across different types of remote sensing images. As a result， each satellite typically requires a dedicated model for detection tasks， which has become a major obstacle to collaborative recognition and relay detection applications in satellite remote sensing. To address this issue， this paper innovatively proposes a self-distillation multimodal detection model based on a Mixture of Experts （MoE）. First， a modality-aware MoE structure is constructed， employing a small number of high-quality experts as teachers to guide other experts， while simultaneously incorporating modality-invariant constraints to further reduce cross-modality feature shifts. Second， a Fourier-enhanced diffusion detection head is developed， combining frequency-domain feature enhancement to improve the capability of capturing detailed information of detection targets. To evaluate the model performance， aerospace images were selected and cropped from the public datasets FAIR1M and SARDet_100K， resulting in a dataset of 68 983 aerospace remote sensing images for object detection under different backgrounds and imaging mechanisms. Experimental results demonstrate that， compared with existing single-modality detection methods， the proposed model performs better in detection tasks across both modalities， with a significant improvement in mean Average Precision （mAP）. This fully demonstrates that the proposed model possesses significant application value in multimodal aerospace remote sensing image object detection， and exhibits good adaptability to various types of satellite remote sensing images.

Key words: object detection, multimodal aerospace remote sensing images, Mixture of Experts (MoE), self-distillation, Fourier transform, diffusion model

中图分类号:

V279

支元杰, 葛欣, 张帆, 杨知, 马明阳, 梅少辉. 一种基于混合专家组的多模态航天遥感图像统一检测模型[J]. 航空学报, 2026, 47(10): 532864.

Yuanjie ZHI, Xin GE, Fan ZHANG, Zhi YANG, Mingyang MA, Shaohui MEI. A unified detection model for multimodal aerospace remote sensing images based on mixture of experts[J]. Acta Aeronautica et Astronautica Sinica, 2026, 47(10): 532864.

图/表 14

图 1

图 2

图 3

图 4

图 5

表1

表2

图 6

表3

图 7

表4

表5

表6

图 8

参考文献 26

[1]	GUI S X， SONG S， QIN R J， et al. Remote sensing object detection in the deep learning era—A review［J］. Remote Sensing， 2024， 16（2）： 327.
[2]	DELPLANQUE A， THÉAU J， FOUCHER S， et al. Wildlife detection， counting and survey using satellite imagery： Are we there yet？［J］. GIScience & Remote Sensing， 2024， 61（1）： 2348863.
[3]	高志强，刘纪远. 基于遥感和GIS的中国土地潜力资源的研究［J］. 遥感学报， 2000， 4（2）： 136-140.
	GAO Z Q， LIU J Y. The research of land potential re-sources in China based on remote sensing ＆ GIS ［J］. National Remote Sensing Bulletin， 2000， 4（2）： 136-140 （in Chinese）.
[4]	ZHENG Z， ZHONG Y F， WANG J J， et al. Building damage assessment for rapid disaster response with a deep object based semantic change detection framework： From natural disasters to man-made disasters［J］. Remote Sensing of Environment， 2021， 265： 112636.
[5]	AVTAR R， KOUSER A， KUMAR A， et al. Remote sensing for international peace and security： Its role and implications［J］. Remote Sensing， 2021， 13（3）： 439.
[6]	ADEGUN A A， FONOU DOMBEU J V， VIRIRI S， et al. State-of-the-art deep learning methods for objects detection in remote sensing satellite images［J］. Sensors， 2023， 23（13）： 5849.
[7]	WANG L F， MEI S H， WANG Y， et al. CAMCFormer： Cross-attention and multicorrelation aided transformer for few-shot object detection in optical remote sensing images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2025， 63， 1-16.
[8]	HAN J M， DING J， LI J， et al. Align deep features for oriented object detection［J］. IEEE Transactions on Geoscience and Remote Sensing， 2021， 60： 1-11.
[9]	LIU W， ZHOU L F. Multilevel denoising for high quality SAR object detection in complex scenes［J］. IEEE Transactions on Geoscience and Remote Sensing， 2024， 62： 1-13.
[10]	GAO G， BAI Q L， ZHANG C， et al. Dualistic cascade convolutional neural network dedicated to fully PolSAR image ship detection［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2023， 202： 663-681.
[11]	WANG C， LU W， LI X， et al. M4-SAR： A multi-resolution， multi-polarization， multi-scene， multi-source dataset and benchmark for Optical-SAR fusion object detection［DB/OL］. arXiv preprint： 2505.10931， 2025.
[12]	王子玲，熊振宇，顾祥岐. 可见光与SAR多源遥感图像关联学习算法［J］. 航空学报， 2022， 43（S1）： 727239.
	WANG Z L， XIONG Z Y， GU X Q. Correlation learning algorithm of visible light and SAR cross modal remote sensing images［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（S1）： 727239 （in Chinese）.
[13]	JACOBS R A， JORDAN M I， NOWLAN S J， et al. Adaptive mixtures of local experts［J］. Neural Computation， 1991， 3（1）： 79-87.
[14]	SHAZEER N， MIRHOSEINI A， MAZIARZ K， et al. Outrageously large neural networks： The sparsely-gated mixture-of-experts layer［DB/OL］. arXiv preprint： 1701.06538， 2017.
[15]	ZHANG L F， SONG J B， GAO A N， et al. Be your own teacher： Improve the performance of convolutional neural networks via self distillation［C］∥Proceedings of the IEEE/CVF international conference on computer vision （ICCV）. Piscataway： IEEE Press， 2019： 3713-3722.
[16]	WANG Z Y， LI Y L， CHEN X， et al. Detecting everything in the open world： Towards universal object detection［C］∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. Piscataway： IEEE Press， 2023： 11433-11443.
[17]	XIONG Z T， WANG Y， ZHANG F H， et al. One for all： Toward unified foundation models for Earth vision［C］∥IGARSS 2024-2024 IEEE International Geoscience and Remote Sensing Symposium. Piscataway： IEEE Press， 2024： 2734-2738.
[18]	LI Y X， LI X， LI Y H， et al. SM3Det： A unified model for multi-modal remote sensing object detection［DB/OL］. arXiv preprint： 2412.20665， 2024.
[19]	LI Y X， LI X， LI W J， et al. SARDet-100K： Towards open-source benchmark and toolkit for large-scale SAR object detection［C］∥NIPS’24： Proceedings of the 38th International Conference on Neural Information Processing Systems. Curran Associates Inc.， 2024： 128430-128461.
[20]	SUN X， WANG P J， YAN Z Y， et al. FAIR1M： A benchmark dataset for fine-grained object recognition in high-resolution remote sensing imagery［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2022， 184： 116-130.
[21]	LI W T， ZHAO D P， YUAN B， et al. PETDet： Proposal enhancement for two-stage fine-grained object detection［J］. IEEE Transactions on Geoscience and Remote Sensing， 2023， 62： 1-14.
[22]	HOU X Q， LIU M Q， ZHANG S L， et al. Relation DETR： Exploring explicit position relation prior for object detection［C］∥European Conference on Computer Vision （ECCV）. Cham： Springer Nature Switzerland， 2024： 89-105.
[23]	ZHAO J Q， DING Z Y， ZHOU Y， et al. OrientedFormer： An end-to-end transformer-based oriented object detector in remote sensing images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2024， 62： 1-16.
[24]	DAI Y M， ZOU M R， LI Y X， et al. DenoDet： Attention as deformable multi-subspace feature denoising for target detection in SAR images［J］. IEEE Transactions on Aerospace and Electronic Systems， 2024， 61： 4729-4743.
[25]	ZHOU J， XIAO C， PENG B， et al. DiffDet4SAR： Diffusion-based aircraft target detection network for SAR images［J］. IEEE Geoscience and Remote Sensing Letters， 2024， 21： 1-5.
[26]	LI W J， YANG W， HOU Y N， et al. SARATR-X： Towards building a foundation model for SAR target recognition［J］. IEEE Transactions on Image Processing， 2025， 34： 869-884.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

模态	方法	发表年份	mAP@50	mAP@75	mAP	Params/M	GFLOPs	FPS
RGB	PETDet^［21］	2023	67.5	44.3	42.7	51.1	128	18.5
	R-DETR^［22］	2024	72.1	46.2	44.1	48.9	184.2	5.6
	OrientedFormer^［23］	2024	71.8	45.8	43.5	44.8	21.6	32.3
	SM3Det^［18］	2024	70.9	45.4	43.9	444.3	331.8	8.8
	本文方法	2025	72.5	45.9	44.2	443.5	312.8	9.2
SAR	DiffDet4SAR^［25］	2024	85.1	60.9	52.3	111.2	39.0	7.3
	SARatrX^［26］	2024	87.7	62.8	56.3	69.1	37.1	6.4
	GrokSAR^［24］	2025	86.0	63.8	58.6	65.8	21.6	35.0
	SM3Det^［18］	2024	86.1	62.1	57.2	444.2	157.8	8.8
	本文方法	2025	87.9	63.9	58.8	421.9	121.4	9.2

模态	方法	mAP@50在SAR模态数据集	mAP@50在RGB模态数据集
原为RGB模态	PETDet^［21］	25.7	67.5
	R-DETR^［22］	70.9	72.1
	OrientedFormer^［23］	20.0	71.8
原为SAR模态	DiffDet4SAR^［25］	85.1	62.3
	GrokSAR^［24］	87.7	65.1
	SARatrX^［26］	86.0	64.2
统一模型	SM3Det^［18］	86.1	70.9
统一模型	本文方法	87.9	72.5

B	S	M	F	mAP@50
B	S	M	F	SAR	RGB
√	√			86.0	71.0
√		√		87.1	71.0
√			√	86.9	71.9
√	√	√		86.9	70.9
√	√		√	87.3	71.7
√		√	√	87.2	72.1
√	√	√	√	87.9	72.5

缺失模态	mAP	mAP@50	mAP@75
SAR	43.4	71.8	45.3
RGB	58.4	87.3	62.9

模态	检测头	mAP@50
RGB	O-RCNN	70.9
	F-RCNN	70.7
	FCOS	69.9
	本文方法	72.5
SAR	GFLHead	86.1
	Cascade	85.4
	FCOS	85.9
	本文方法	87.9

一种基于混合专家组的多模态航天遥感图像统一检测模型

A unified detection model for multimodal aerospace remote sensing images based on mixture of experts

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 26

相关文章 15

编辑推荐

Metrics

本文评价

[1]	刘文林, 胡锡坤, 钟平. 强化学习驱动的退化遥感图像目标检测方法[J]. 航空学报, 2026, 47(10): 532861-532861.
[2]	王飞鸣, 李孟霖, 屈阳, 潘斌. 融合小波引导与结构增强的SAR图像扩散超分辨[J]. 航空学报, 2026, 47(10): 532804-532804.
[3]	吴一全, 童康. 基于深度学习的无人机航拍图像小目标检测研究进展[J]. 航空学报, 2025, 46(3): 30848-030848.
[4]	成桢灏, 杨小冈, 卢瑞涛, 张涛, 王思宇. 基于多阶段蒸馏的无人机图像时敏目标增量检测算法[J]. 航空学报, 2025, 46(24): 331959-331959.
[5]	黄维, 潘家皓, 何楚. 小波时频局部化无人机目标检测模型压缩研究[J]. 航空学报, 2025, 46(23): 631952-631952.
[6]	范天麒, 邹征夏, 史振威. 基于强化学习数据合成的典型遥感目标检测[J]. 航空学报, 2025, 46(23): 631955-631955.
[7]	刘奎, 孙浩, 伍瀚, 计科峰, 匡纲要. 动态亮度重建的无人机可见光-红外融合目标检测[J]. 航空学报, 2025, 46(23): 631968-631968.
[8]	彭勃, 白吉康, 陈伟文, 郑向涛, 雷建军, 卢孝强. 基于深度学习的无人机搜救方法研究进展[J]. 航空学报, 2025, 46(23): 632761-632761.
[9]	王飞, 刘勇, 姚嘉伟, 朱轩磊, 卢孝强, 郭文星, 张雪涛, 郭宇. RS-AdaDiff：基于降质感知自适应估计的单步遥感图像超分辨率扩散模型[J]. 航空学报, 2025, 46(23): 632763-632763.
[10]	钟帅, 王丽萍. MCS-RETR：改进RT-DETR的无人机航拍图像目标检测方法[J]. 航空学报, 2025, 46(22): 331987-331987.
[11]	郑忆, 程向红, 唐兴邦, 曹毅. 基于改进ReDet的航拍绝缘子及其缺陷定向检测算法[J]. 航空学报, 2025, 46(18): 331825-331825.
[12]	杨永刚, 姜文韬, 高志云. 低空无人机实时目标检测算法[J]. 航空学报, 2025, 46(16): 331619-331619.
[13]	孟凡腾, 秦勇, 崔京, 吴云鹏, 张紫城, 魏少伟. 铁路外部环境无人机图像未知风险检测方法[J]. 航空学报, 2025, 46(11): 531262-531262.
[14]	陈树生, 贾苜梁, 林家豪, 金世轶, 高正红, 王岳青, 马志强, 李铮, 段辰龙, 李佳伟. 生成式模型赋能飞行器技术应用研究进展与展望[J]. 航空学报, 2025, 46(10): 631194-631194.
[15]	王景, 柳位, 谢海润, 张淼, 马涂亮. 扩散模型驱动的超临界翼型多目标生成式设计[J]. 航空学报, 2025, 46(10): 631210-631210.