基于类关系挖掘的遥感图像广义小样本分割方法

doi:10.7527/S1000-6893.2025.31694

干扰环境下无人机多源感知专栏

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于类关系挖掘的遥感图像广义小样本分割方法

丛润民¹^,², 孙豪言¹^,², 罗宇轩³(), 方豪¹^,²

^1.山东大学控制科学与工程学院，济南 250061
^2.机器智能与系统控制教育部重点实验室，济南 250061
^3.香港城市大学电脑科学系，香港 999077

收稿日期:2024-12-19 修回日期:2025-03-04 接受日期:2025-04-23 出版日期:2025-05-13 发布日期:2025-05-06
通讯作者: 罗宇轩 E-mail:yuxuanluo4-c@my.cityu.edu.hk
基金资助:
山东省泰山学者青年专家项目(tsqn202306079);国家自然科学基金面上项目(62471278)

Generalized few-shot segmentation for remote sensing image based on class relation mining

Runmin CONG¹^,², Haoyan SUN¹^,², Yuxuan LUO³(), Hao FANG¹^,²

^1.School of Control Science and Engineering，Shandong University，Jinan 250061，China
^2.Key Laboratory of Machine Intelligence and System Control，Ministry of Education，Jinan 250061，China
^3.Department of Computer Science，City University of Hong Kong，Hong Kong 999077，China

Received:2024-12-19 Revised:2025-03-04 Accepted:2025-04-23 Online:2025-05-13 Published:2025-05-06
Contact: Yuxuan LUO E-mail:yuxuanluo4-c@my.cityu.edu.hk
Supported by:
Taishan Scholar Project of Shandong Province(tsqn202306079);National Natural Science Foundation of China(62471278)

摘要/Abstract

摘要：

随着遥感卫星和无人机技术的快速发展，遥感图像的获取变得更加方便，实现图像内容的精准解析逐渐成为研究热点。然而，现有遥感图像语义分割方法在仅有少量样本的情况下难以应对场景变化后出现的新类别目标，进而影响模型的整体性能。为应对遥感场景中可能出现的新类和新场景问题，引入了广义小样本分割技术，旨在利用少量样本快速适应新类，并高效完成遥感图像的语义分割任务。首先，针对遥感图像中不同类别和不同尺寸物体难以分辨的挑战，引入多尺度特征融合解码器，提高了模型对不同尺度目标的分割能力。然后，针对广义小样本分割任务中的背景语义偏移问题，设计了背景一致性建模训练策略，保证了模型对背景特征的准确表达。此外，设计了类间关系挖掘技术，利用大量基类数据生成的原型，增强少量数据生成的新类原型，使其能够从基类中获取有利信息，从而实现更精确的分割。最后，在公开数据集上，将本方法与主流方法进行对比实验，分割指标mIoU最高提升11.48%，证明了所提算法的有效性。

关键词: 遥感图像, 语义分割, 广义小样本, 知识蒸馏, 关系挖掘

Abstract:

With the rapid development of remote sensing satellites and unmanned aerial vehicle technologies， the acquisition of remote sensing images has become more convenient， making precise interpretation of image content a research hotspot. However， existing remote sensing image semantic segmentation methods struggle to handle new object categories that emerge due to scene changes when only a small number of samples are available， thereby affecting the overall performance of the model. To address the potential issues of new classes and new scenes in remote sensing scenarios， this paper introduces the generalized few-shot segmentation technique， aiming to rapidly adapt to new classes using a few samples and efficiently complete the semantic segmentation task for remote sensing images. Firstly， to tackle the challenge of distinguishing objects of different categories and different sizes in remote sensing images， a multi-scale feature fusion decoder is introduced to enhance the model’s segmentation ability for targets of different scales. Then， to address the background semantic shift problem in the generalized few-shot segmentation task， a background consistency modeling training strategy is designed to ensure the accurate expression of background features by the model. Furthermore， this paper proposes an inter-class relationship mining technique， which utilizes prototypes generated from a large amount of base class data to enhance the prototypes generated from a small amount of new class data， enabling them to acquire beneficial information from the base classes and achieve more precise segmentation. Finally， comparative experiments with mainstream methods are conducted on public datasets， and the mIoU segmentation metric is improved by up to 11.48%， demonstrating the effectiveness of the proposed algorithm.

Key words: remote sensing, semantic segmentation, generalized few-shot, knowledge distillation, relationship mining

中图分类号:

丛润民, 孙豪言, 罗宇轩, 方豪. 基于类关系挖掘的遥感图像广义小样本分割方法[J]. 航空学报, 2025, 46(23): 631694.

Runmin CONG, Haoyan SUN, Yuxuan LUO, Hao FANG. Generalized few-shot segmentation for remote sensing image based on class relation mining[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(23): 631694.

图/表 11

图 1

图 2

图 3

图 4

图 5

表 1

表 2

图 6

图 7

图 8

表 3

参考文献 29

[1]	DIAKOGIANNIS F I， WALDNER F， CACCETTA P， et al. ResUNet-a： A deep learning framework for semantic segmentation of remotely sensed data［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2020， 162： 94-114.
[2]	罗旭东，吴一全，陈金林. 无人机航拍影像目标检测与语义分割的深度学习方法研究进展［J］. 航空学报， 2024， 45（6）： 028822.
	LUO X D， WU Y Q， CHEN J L. Research progress on deep learning methods for object detection and semantic segmentation in UAV aerial images［J］. Acta Aeronautica et Astronautica Sinica， 2024， 45（6）： 028822 （in Chinese）.
[3]	张文凯，刘文杰，孙显，等. 多源特征自适应融合网络的高分遥感影像语义分割［J］. 中国图象图形学报， 2022， 27（8）： 2516-2526.
	ZHANG W K， LIU W J， SUN X， et al. Multi-source features adaptation fusion network for semantic segmentation in high-resolution remote sensing images［J］. Journal of Image and Graphics， 2022， 27（8）： 2516-2526 （in Chinese）.
[4]	杨俊俐，姜志国，周全，等. 基于条件随机场的遥感图像语义标注［J］. 航空学报， 2015， 36（9）： 3069-3081.
	YANG J L， JIANG Z G， ZHOU Q， et al. Remote sensing image semantic labeling based on conditional random field［J］. Acta Aeronautica et Astronautica Sinica， 2015， 36（9）： 3069-3081 （in Chinese）.
[5]	HUA Y S， MARCOS D， MOU L C， et al. Semantic segmentation of remote sensing images with sparse annotations［J］. IEEE Geoscience and Remote Sensing Letters， 2021， 19： 8006305.
[6]	SONG N， ZHANG C， LIN G S. Few-shot open-set recognition using background as unknowns［C］∥Proceedings of the 30th ACM International Conference on Multimedia. New York： ACM， 2022： 5970-5979.
[7]	ZHANG Y， YANG J W， TIAN J， et al. Modality-aware mutual learning for multi-modal medical image segmentation［M］∥Medical Image Computing and Computer Assisted Intervention-MICCAI 2021. Cham： Springer International Publishing， 2021： 589-599.
[8]	文贡坚，王润生. 从航空遥感图像中自动提取主要道路［J］. 软件学报， 2000， 11（7）： 957-964.
	WEN G J， WANG R S. Automatic extraction of main roads from aerial remote sensing images［J］. Journal of Software， 2000， 11（7）： 957-964 （in Chinese）.
[9]	SPASEV V， DIMITROVSKI I， KITANOVSKI I， et al. Semantic segmentation of remote sensing images： definition， methods， datasets and applications［M］∥ICT Innovations 2023. Learning： Humans， Theory， Machines， and Data. Cham： Springer Nature Switzerland， 2024： 127-140.
[10]	WANG K X， LIEW J H， ZOU Y T， et al. PANet： Few-shot image semantic segmentation with prototype alignment［C］∥2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2019： 9196-9205.
[11]	FAN Q， PEI W J， TAI Y W， et al. Self-support few-shot semantic segmentation［M］∥Computer Vision-ECCV 2022. Cham： Springer Nature Switzerland， 2022： 701-719.
[12]	PENG B H， TIAN Z T， WU X Y， et al. Hierarchical dense correlation distillation for few-shot segmentation［C］∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 23641-23651.
[13]	WANG J， LI J Y， CHEN C， et al. Adaptive FSS： a novel few-shot segmentation framework via prototype enhancement［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2024， 38（6）： 5463-5471.
[14]	VILALTA R， DRISSI Y. A perspective view and survey of meta-learning［J］. Artificial Intelligence Review， 2002， 18（2）： 77-95.
[15]	ZHUANG F Z， QI Z Y， DUAN K Y， et al. A comprehensive survey on transfer learning［J］. Proceedings of the IEEE， 2021， 109（1）： 43-76.
[16]	KANG D， CHO M. Integrative few-shot learning for classification and segmentation［C］∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 9969-9980.
[17]	TIAN Z T， LAI X， JIANG L， et al. Generalized few-shot semantic segmentation［C］∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 11553-11562.
[18]	HAJIMIRI S， BOUDIAF M， AYED I BEN， et al. A strong baseline for generalized few-shot semantic segmentation［C］∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 11269-11278.
[19]	LIU S N， ZHANG Y H， QIU Z F， et al. Learning orthogonal prototypes for generalized few-shot semantic segmentation［C］∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 11319-11328.
[20]	LIU W D， WU Z H， ZHAO Y， et al. Harmonizing base and novel classes： A class-contrastive approach for generalized few-shot segmentation［J］. International Journal of Computer Vision， 2024， 132（4）： 1277-1291.
[21]	BRONI-BEDIAKO C， XIA J S， SONG J， et al. Generalized few-shot semantic segmentation in remote sensing： Challenge and benchmark［J］. IEEE Geoscience and Remote Sensing Letters， 2024， 21： 8003905.
[22]	LI Z H， LU F X， ZOU J Q， et al. Generalized few-shot meets remote sensing： Discovering novel classes in land cover mapping via hybrid semantic segmentation framework［C］∥2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway： IEEE Press， 2024： 2744-2754.
[23]	GAO T Y， AO W， WANG X G， et al. Enrich， distill and fuse： Generalized few-shot semantic segmentation in remote sensing leveraging foundation model’s assistance［C］∥2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway： IEEE Press， 2024： 2771-2780.
[24]	ZHU J G， TANG S X， CHEN D P， et al. Complementary relation contrastive distillation［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 9256-9265.
[25]	赵翔，李洪双. 基于交叉熵和空间分割的全局可靠性灵敏度分析［J］. 航空学报， 2018， 39（2）： 221570.
	ZHAO X， LI H S. Global reliability sensitivity analysis using cross entropy method and space partition［J］. Acta Aeronautica et Astronautica Sinica， 2018， 39（2）： 221570 （in Chinese）.
[26]	XIA J S， YOKOYA N， ADRIANO B， et al. Open-EarthMap： A benchmark dataset for global high-resolution land cover mapping［C］∥2023 IEEE/CVF Winter Conference on Applications of Computer Vision （WACV）. Piscataway： IEEE Press， 2023： 6243-6253.
[27]	SYED W Z， ARORA A， GUPTA A， et al. iSAID： A larg-e-scale dataset for instance segmentation in aerial images［DB/OL］.arXiv preprint， 1905.12886， 2019.
[28]	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］∥2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2016： 770-778.
[29]	LIU Z， LIN Y T， CAO Y， et al. Swin transformer： hierarchical vision transformer using shifted windows［C］∥2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2021： 9992-10002.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

方法	来源	编码器	基类mIoU/%	新类mIoU/%	W-mIoU/%
CAPL	CVPR’22	Resnet50	21.57	5.38	11.86
DIaM	CVPR’23	Resnet50	29.48	3.18	13.70
POP	CVPR’23	Resnet50	30.10	4.90	14.98
HBNC	IJCV’24	Resnet50	21.25	3.65	10.69
本文方法		Resnet50	34.13	10.69	20.07
本文方法		Swin-S	44.83	14.21	26.46

MFD	CBM	IRM	基类mIoU/%	新类mIoU/%	W-mIoU/%
×	×	×	38.31	12.09	22.58
√	×	×	42.46	12.71	24.61
√	×	√	42.69	13.35	25.09
√	√	×	44.90	12.69	25.57
√	√	√	44.83	14.21	26.46

基于类关系挖掘的遥感图像广义小样本分割方法

Generalized few-shot segmentation for remote sensing image based on class relation mining

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 29

相关文章 14

编辑推荐

Metrics

本文评价

[1]	李嘉欣, 吕帅帅, 王叶子, 杨宇, 李梓悦. 基于Transformer的航空结构表面裂纹智能追踪方法[J]. 航空学报, 2025, 46(21): 532355-532355.
[2]	孟凡腾, 秦勇, 崔京, 吴云鹏, 张紫城, 魏少伟. 铁路外部环境无人机图像未知风险检测方法[J]. 航空学报, 2025, 46(11): 531262-531262.
[3]	赵其昌, 吴一全, 苑玉彬. 光学遥感图像舰船目标检测与识别方法研究进展[J]. 航空学报, 2024, 45(8): 29025-029025.
[4]	罗旭东, 吴一全, 陈金林. 无人机航拍影像目标检测与语义分割的深度学习方法研究进展[J]. 航空学报, 2024, 45(6): 28822-028822.
[5]	王子玲, 熊振宇, 杨璐铖, 杨蕊宁, 黄林周. AIS和光学遥感图像引导的星载SAR舰船目标识别网络[J]. 航空学报, 2024, 45(2): 328672-328672.
[6]	刘延芳, 佘佳宇, 袁秋帆, 周芮, 齐乃明. 无人机遥感图像实时小目标检测方法[J]. 航空学报, 2024, 45(14): 630119-630119.
[7]	陈立群, 邹旭, 张磊, 朱颖盼, 王港, 陈金勇. 基于国产商用器件的星载智能目标检测技术[J]. 航空学报, 2023, 44(S2): 728860-728860.
[8]	苏鑫, 管润程, 王桥, 苑伟政, 吕湘连, 何洋. 基于深度学习的结冰区域和厚度检测方法[J]. 航空学报, 2023, 44(S2): 729283-729283.
[9]	李晓航, 周建江. 基于自适应记忆长度的多尺度模态融合网络[J]. 航空学报, 2023, 44(22): 628977-628977.
[10]	熊振宇, 崔亚奇, 董凯, 李孟洋, 熊伟. 基于属性引导的多源遥感舰船目标可解释融合关联网络[J]. 航空学报, 2023, 44(22): 627476-627476.
[11]	王子玲, 熊振宇, 顾祥岐. 可见光与SAR多源遥感图像关联学习算法[J]. 航空学报, 2022, 43(S1): 727239-727239.
[12]	杨俊俐, 姜志国, 周全, 张浩鹏, 史骏. 基于条件随机场的遥感图像语义标注[J]. 航空学报, 2015, 36(9): 3069-3081.
[13]	孟钢, 贺杰, 鲍莉, 王建涛, 颜孙震, 许金萍. 基于遥感图像分块直线特征检测的机场跑道检测方法[J]. 航空学报, 2014, 35(7): 1957-1965.
[14]	曹琼;郑红;李行善. 一种基于纹理特征的卫星遥感图像云探测方法[J]. 航空学报, 2007, 28(3): 661-666.