基于强化学习数据合成的典型遥感目标检测

doi:10.7527/S1000-6893.2025.31955

干扰环境下无人机多源感知专栏

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于强化学习数据合成的典型遥感目标检测

范天麒¹, 邹征夏²(), 史振威²

^1.北京航空航天大学国家卓越工程师学院，北京 100191
^2.北京航空航天大学宇航学院，北京 100191

收稿日期:2025-03-10 修回日期:2025-03-16 接受日期:2025-05-15 出版日期:2025-06-09 发布日期:2025-05-30
通讯作者: 邹征夏 E-mail:zhengxiazou@buaa.edu.cn
基金资助:
国家自然科学基金(62125102)

Typical remote sensing target detection with data synthesis based on reinforcement learning

Tianqi FAN¹, Zhengxia ZOU²(), Zhenwei SHI²

^1.National Graduate College for Elite Engineers，Beihang University，Beijing 100191，China
^2.School of Astronautics，Beihang University，Beijing 100191，China

Received:2025-03-10 Revised:2025-03-16 Accepted:2025-05-15 Online:2025-06-09 Published:2025-05-30
Contact: Zhengxia ZOU E-mail:zhengxiazou@buaa.edu.cn
Supported by:
National Natural Science Foundation of China(62125102)

摘要/Abstract

摘要：

遥感目标检测，特别是对车辆、飞机等遥感目标的检测，在交通监测、军事侦察等方面具有重要的应用价值，对相关技术的进步也起到了积极的推动作用。然而，遥感目标检测仍面临诸多挑战，包括遥感图像标注成本高，以及复杂天气条件会对目标检测性能产生干扰。为解决上述问题，提出了一种融合强化学习与可控图像渲染的遥感图像合成方法，将虚实混合的遥感图像生成任务转化为基于强化学习的场景参数搜索问题。同时，引入天气干扰因素，通过模拟云层、沙尘和雾气等复杂天气条件对训练数据进行增强，提升数据在复杂环境下的适应性和真实性。实验结果表明，相较于传统方法，所提方法在多项评价指标上均取得显著提升，最高性能提升达4.2%。这验证了所提方法的有效性，显示了合成遥感图像及其复杂天气效果在提升目标检测模型精度方面的潜力，为遥感目标检测技术的发展提供了有力支持。

关键词: 目标检测, 遥感图像, 图像合成, 强化学习, 深度学习

Abstract:

Remote sensing detection of targets such as vehicles and aircraft is essential for traffic monitoring and military reconnaissance， and it continues to drive advances in related technologies. However， remote sensing target detection still faces numerous challenges， including the high cost of image annotation and the interference of complex weather conditions on detection performance. To address these issues， a novel image synthesis method that integrates reinforcement learning with controllable image rendering is proposed， transforming the generation of mixed real and synthetic remote sensing data into a reinforcement learning-based scene parameter search problem. Additionally， weather disturbance factors are introduced by simulating clouds， dust， and fog to augment the training data， enhancing its adaptability and realism in complex environments. Experimental results show that， compared with traditional methods， the proposed method achieves significant improvements across multiple evaluation metrics， with a maximum performance gain of 4.2%. This verifies the effectiveness of the proposed method and highlights the potential of synthetic remote sensing images and complex weather effects in improving target detection model accuracy， thereby providing strong support for the advancement of remote sensing target detection technology.

Key words: target detection, remote sensing image, image synthesis, reinforcement learning, deep learning

中图分类号:

范天麒, 邹征夏, 史振威. 基于强化学习数据合成的典型遥感目标检测[J]. 航空学报, 2025, 46(23): 631955.

Tianqi FAN, Zhengxia ZOU, Zhenwei SHI. Typical remote sensing target detection with data synthesis based on reinforcement learning[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(23): 631955.

图/表 23

图 1

表1

合成环境所需的所有渲染参数

参数类型	变量名	描述	默认值	是否使用强化学习	参数约束
目标模型变换矩阵参数	$m_r x$	模型绕x轴旋转角度/（°）	90
	$m_r z_m i n$	模型绕z轴旋转最小角度/（°）	0
	$m_r z_m a x$	模型绕z轴旋转最大角度/（°）	360
	$m_t x_m i n$	模型x方向最小偏移量	-0.3	是	< $m_t x_m a x$
	$m_t x_m a x$	模型x方向最大偏移量	0.3	是	> $m_t x_m i n$
	$m_t y_m i n$	模型y方向最小偏移量	-0.3	是	< $m_t y_m a x$
	$m_t y_m a x$	模型y方向最大偏移量	0.3	是	> $m_t y_m i n$
	$m_t z$	模型z方向偏移量	0.002
	$m_s c a l e$	模型缩放因子	0.04
虚拟相机参数	$c_f$	相机焦距	221.8
	$c_p$	相机主点	（256，256）
	$c_r z_m i n$	相机绕z轴旋转最小角度/（°）	0
	$c_r z_m a x$	相机绕z轴旋转最大角度/（°）	360
	$c_t x$	相机x方向偏移量	0
	$c_t y$	相机y方向偏移量	0
	$c_t z_m i n$	相机z方向最小偏移量	0.3	是	< $c_t z_m a x$
	$c_t z_m a x$	相机z方向最大偏移量	0.5	是	> $c_t z_m i n$
模拟光照参数	$l_i n t e n s i t y$	光照强度	20	是
	$l_a n g l e_m i n$	光照最小角度/（°）	0	是	< $l_a n g l e_m a x$
	$l_a n g l e_m a x$	光照最大角度/（°）	50	是	> $l_a n g l e_m i n$

表1

图 2

图 3

图 4

图 5

图 6

图 7

表 2

表3

表 4

表5

表 6

表7

图 8

表 8

表 9

图 9

表10

表 11

表 12

图 10

表13

参考文献 30

[1]	VOULODIMOS A， DOULAMIS N， DOULAMIS A， et al. Deep learning for computer vision： A brief review［J］. Computational Intelligence and Neuroscience， 2018（1）： 7068349.
[2]	ZOU Z X， CHEN K Y， SHI Z W， et al. Object detection in 20 years： A survey［J］. Proceedings of the IEEE， 2023， 111（3）： 257-276.
[3]	杨旭. 遥感图像目标检测技术研究［D］. 郑州：战略支援部队信息工程大学， 2023： 1.
	YANG X. Research on object detection technology in remote sensing images［D］. Zhengzhou： PLA Strategic Support Force Information Engineering University， 2023： 1 （in Chinese）.
[4]	欧冬秀. 交通信息技术［M］. 上海：同济大学出版社， 2007： 9-26.
	OU D X. Transportation information technologies［M］. Shanghai： Tongji University Press， 2007： 9-26 （in Chinese）.
[5]	常嘉伟. 基于深度学习的飞机目标检测与跟踪系统的设计与实现［D］. 北京：北京邮电大学， 2022： 1-2.
	CHANG J W. Design and implementation of aircraft target detection and tracking system based on deep learning［D］. Beijing： Beijing University of Posts and Telecommunications， 2022： 1-2 （in Chinese）.
[6]	方浩文，施华君. 基于深度学习的卫星图像识别分类方法［J］. 计算机系统应用， 2019， 28（10）： 27-34.
	FANG H W， SHI H J. Satellite image recognition and classification method based on deep learning［J］. Computer Systems & Applications， 2019， 28（10）： 27-34 （in Chinese）.
[7]	薛振锋. 合成数据集的生成与优化方法及其在岩渣分析中的应用［D］. 杭州：浙江大学， 2021： 1-2.
	XUE Z F. Generation and optimization of synthetic dataset and its application in rock analysis［D］. Hangzhou： Zhejiang University， 2021： 1-2 （in Chinese）.
[8]	韩俊. 基于深度学习的遥感图像车辆检测［D］. 徐州：中国矿业大学， 2023： 5-7.
	HAN J. Deep learning-based vehicle detection for remote sensing images［D］. Xuzhou： China University of Mining and Technology， 2023： 5-7 （in Chinese）.
[9]	YANG X， SUN H， SUN X， et al. Position detection and direction prediction for arbitrary-oriented ships via multitask rotation region convolutional neural network［J］. IEEE Access， 2018， 6： 50839-50849.
[10]	CHENG G， SI Y J， HONG H L， et al. Cross-scale feature fusion for object detection in optical remote sensing images［J］. IEEE Geoscience and Remote Sensing Letters， 2021， 18（3）： 431-435.
[11]	XIE L C， XUE Y L， YE J Z. UAV aerial photography target detection algorithm based on improved YOLOv5［C］∥2022 International Conference on Machine Vision， Automatic Identification and Detection. 2022： 012024.
[12]	CHEN T X， YE Z， TAN Z T， et al. MiM-ISTD： Mamba-in-mamba for efficient infrared small-target detection［J］. IEEE Transactions on Geoscience and Remote Sensing， 2024， 62： 5007613.
[13]	LIU B， CHEN S B， WANG J X， et al. An oriented object detector for hazy remote sensing images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2024， 62： 1001711.
[14]	CUBUK E D， ZOPH B， MANÉ D， et al. AutoAugment： Learning augmentation strategies from data［C］∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2019： 113-123.
[15]	ZOPH B， CUBUK E D， GHIASI G， et al. Learning data augmentation strategies for object detection［C］∥Computer Vision-ECCV 2020. Cham： Springer， 2020： 566-583.
[16]	KIM J M， JANG J Y， SEO S， et al. MUM： Mix image tiles and UnMix feature tiles for semi-supervised object detection［C］∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2022： 14492-14501.
[17]	ROS G， SELLART L， MATERZYNSKA J， et al. The SYNTHIA dataset： A large collection of synthetic images for semantic segmentation of urban scenes［C］∥2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2016： 3234-3243.
[18]	TREMBLAY J， PRAKASH A， ACUNA D， et al. Training deep networks with synthetic data： Bridging the reality gap by domain randomization［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE Press， 2018： 10820-10828.
[19]	PRAKASH A， BOOCHOON S， BROPHY M， et al. Structured domain randomization： Bridging the reality gap by context-aware synthetic data［C］∥2019 International Conference on Robotics and Automation. Piscataway： IEEE Press， 2019： 7249-7255.
[20]	KIM J H， HWANG Y. GAN-based synthetic data augmentation for infrared small target detection［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 5002512.
[21]	MNHI V， KAVUKCUOGLU K， SILVER D， et al. Playing Atari with deep reinforcement learning［DB/OL］. arXiv： arXiv：1312. 5602， 2013.
[22]	WATKINS C J C H， DAYAN P. Q-learning［J］. Machine Learning， 1992， 8： 279-292.
[23]	ZOU Z X， LI W Y， SHI T Y， et al. Generative adversarial training for weakly supervised cloud matting［C］∥2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE Press， 2019： 201-210.
[24]	LI W Y， ZOU Z X， SHI Z W. Deep matting for cloud detection in remote sensing images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2020， 58（12）： 8490-8502.
[25]	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2017： 936-944.
[26]	XIA G S， BAI X， DING J， et al. DOTA： A large-scale dataset for object detection in aerial images［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 3974-3983.
[27]	CHENG G， YUAN X， YAO X W， et al. Towards large-scale small object detection： Survey and benchmarks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（11）： 13467-13488.
[28]	DING J， XUE N， LONG Y， et al. Learning RoI transformer for oriented object detection in aerial images［C］∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2019： 2844-2853.
[29]	ZHAO Y A， LV W Y， XU S L， et al. DETRs beat YOLOs on real-time object detection［C］∥2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2024： 16965-16974.
[30]	QIU S H， WEN G J， FAN Y X. Occluded object detection in high-resolution remote sensing images using partial configuration object model［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2017， 10（5）： 1909-1925.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

参数	默认值	学习后的数值
模型x方向偏移量	-0.3~0.3	-0.03~0.26
模型y方向偏移量	-0.3~0.3	-0.28~0.30
相机z方向偏移量	0.3~0.5	0.33~0.52
光照强度	20	21.5
光照角度/（°）	0~50	24.0~71.0

目标类型	数据集名称	训练及验证集	测试集
车辆	真实遥感图像数据集	真实遥感图像	真实遥感图像
	合成遥感图像数据集	使用默认参数的合成遥感图像
	默认混合遥感图像数据集	真实+使用默认参数的合成遥感图像
	DQN混合遥感图像数据集	真实+使用深度Q网络学习参数的合成遥感图像
飞机	真实遥感图像数据集	真实遥感图像	真实遥感图像
	合成遥感图像数据集	使用默认参数的合成遥感图像
	默认混合遥感图像数据集	真实+使用默认参数的合成遥感图像
	DQN混合遥感图像数据集	真实+使用深度Q网络学习参数的合成遥感图像

目标类型	数据集	查准率	查全率	AP50	AP50-95
车辆	真实遥感图像数据集	0.837	0.796	0.849	0.482
	合成遥感图像数据集	0.193	0.306	0.212	0.095
	默认混合遥感图像数据集	0.842	0.797	0.859	0.494
	DQN混合遥感图像数据集	0.849	0.802	0.866	0.509
飞机	真实遥感图像数据集	0.930	0.906	0.954	0.644
	合成遥感图像数据集	0.420	0.254	0.221	0.088
	默认混合遥感图像数据集	0.949	0.913	0.962	0.668
	DQN混合遥感图像数据集	0.943	0.920	0.964	0.678

目标类型	数据集	查准率	查全率	AP50	AP50-95
车辆	真实遥感图像数据集	0.794	0.714	0.773	0.407
	默认混合遥感图像数据集	0.781	0.717	0.792	0.478
	DQN混合遥感图像数据集	0.780	0.807	0.831	0.494
飞机	真实遥感图像数据集	0.872	0.834	0.877	0.579
	默认混合遥感图像数据集	0.900	0.830	0.885	0.600
	DQN混合遥感图像数据集	0.892	0.853	0.906	0.629

目标类型	奖励函数	查准率	查全率	AP50	AP50-95
车辆	FID	0.849	0.802	0.866	0.509
	KID	0.846	0.804	0.863	0.503
	IS	0.794	0.803	0.850	0.476
飞机	FID	0.943	0.920	0.964	0.678
	KID	0.940	0.921	0.958	0.678
	IS	0.938	0.922	0.956	0.673

基于强化学习数据合成的典型遥感目标检测

Typical remote sensing target detection with data synthesis based on reinforcement learning

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 23

参考文献 30

相关文章 15

编辑推荐

Metrics

本文评价

目标类型	数据集名称	训练及验证集	测试集
车辆	混合遥感图像数据集	真实遥感图像+使用深度Q网络学习到的参数的合成遥感图像	真实遥感图像+ 环境增强
车辆	环境增强的混合遥感图像数据集	真实遥感图像+使用深度Q网络学习到的参数的合成遥感图像+ 环境增强	真实遥感图像+ 环境增强
飞机	混合遥感图像数据集	真实遥感图像+使用深度Q网络学习到的参数的合成遥感图像	真实遥感图像+ 环境增强
飞机	环境增强的混合遥感图像数据集	真实遥感图像+使用深度Q网络学习到的参数的合成遥感图像+ 环境增强	真实遥感图像+ 环境增强

目标类型	数据集	查准率	查全率	AP50	AP50-95
飞机	混合遥感图像数据集	0.627	0.519	0.437	0.199
飞机	环境增强的混合遥感图像数据集	0.651	0.597	0.447	0.251

数据集	模型	查准率	查全率	AP50	AP50-95
真实遥感图像数据集	YOLOv11	0.837	0.796	0.849	0.482
真实遥感图像数据集	SFC-YOLOv11	0.797	0.818	0.862	0.486
DQN混合遥感图像数据集	YOLOv11	0.849	0.802	0.866	0.509
DQN混合遥感图像数据集	SFC-YOLOv11	0.860	0.812	0.877	0.513

目标类型	方法	查准率	查全率	AP50	AP50-95
车辆	RT-DETR	0.794	0.714	0.773	0.407
	YOLOv8	0.797	0.810	0.853	0.473
	YOLOv11	0.837	0.796	0.849	0.482
	所提方法	0.860	0.812	0.877	0.513
飞机	RT-DETR	0.872	0.834	0.877	0.579
	YOLOv8	0.928	0.916	0.949	0.646
	YOLOv11	0.930	0.906	0.954	0.644
	所提方法	0.947	0.935	0.971	0.688

[1]	章涛, 李攀, 王梓旭, 朱振华. 面向直升机姿态控制的强化学习奖励函数设计[J]. 航空学报, 2025, 46(S1): 732184-732184.
[2]	徐建宇, 周莉, 王占学, 是介, 史毫. 基于快速逐线计算模型的高超声速羽流红外辐射计算方法[J]. 航空学报, 2025, 46(8): 630778-630778.
[3]	万开方, 吴志林, 武韫晖, 强皓植, 吴艺博, 李波. 拒止环境下基于深度强化学习的多无人机协同定位[J]. 航空学报, 2025, 46(8): 331024-331024.
[4]	姜凌峰, 李新凯, 张海, 李涵玮, 张宏立. 基于改进TD3算法的无人机动态环境无地图导航[J]. 航空学报, 2025, 46(8): 331035-331035.
[5]	孟令捷, 李红光, 李新军. 基于地貌类别信息指导的SAR图像仿真方法[J]. 航空学报, 2025, 46(7): 331003-331003.
[6]	赵志浩, 杨照华, 吴云, 余远金. 弱光环境下基于深度学习的单光子计数成像去噪方法[J]. 航空学报, 2025, 46(3): 630531-630531.
[7]	吴付杰, 王博文, 齐静雅, 曹铭智, 桑英俊, 李晟, 张玉珍, 陈钱, 左超. 机载多孔径全景图像合成技术研究进展[J]. 航空学报, 2025, 46(3): 630505-630505.
[8]	杨敏, 刘关俊, 周子渊. 基于安全强化学习的月球着陆器控制[J]. 航空学报, 2025, 46(3): 630553-630553.
[9]	吴一全, 童康. 基于深度学习的无人机航拍图像小目标检测研究进展[J]. 航空学报, 2025, 46(3): 30848-030848.
[10]	丛润民, 孙豪言, 罗宇轩, 方豪. 基于类关系挖掘的遥感图像广义小样本分割方法[J]. 航空学报, 2025, 46(23): 631694-631694.
[11]	黄维, 潘家皓, 何楚. 小波时频局部化无人机目标检测模型压缩研究[J]. 航空学报, 2025, 46(23): 631952-631952.
[12]	钟帅, 王丽萍. MCS-RETR：改进RT-DETR的无人机航拍图像目标检测方法[J]. 航空学报, 2025, 46(22): 331987-331987.
[13]	王辰, 魏才盛, 殷泽阳, 靳锴, 李星辰. 考虑信道资源约束的多无人机航迹与通信策略协同规划[J]. 航空学报, 2025, 46(18): 331837-331837.
[14]	郑忆, 程向红, 唐兴邦, 曹毅. 基于改进ReDet的航拍绝缘子及其缺陷定向检测算法[J]. 航空学报, 2025, 46(18): 331825-331825.
[15]	罗祎喆, 张辉, 余新得, 金钊, 冯朔, 石育澄, 徐明亮. 面向舰载机多波次弹药保障任务的分层动态调度[J]. 航空学报, 2025, 46(18): 331945-331945.

目标类型	合成图像数量/（10³张）	AP50	AP50-95
车辆	0	0.849	0.482
	1	0.855	0.492
	3	0.863	0.498
	5	0.866	0.509
	7	0.870	0.511
	9	0.871	0.509
	16	0.852	0.477
飞机	0	0.954	0.664
	1	0.958	0.664
	3	0.961	0.673
	5	0.964	0.678
	7	0.966	0.681
	9	0.965	0.682
	16	0.958	0.681