基于强化学习数据合成的典型遥感目标检测

doi:10.7527/S1000-6893.2025.31955

Abstract

Abstract:

Remote sensing detection of targets such as vehicles and aircraft is essential for traffic monitoring and military reconnaissance， and it continues to drive advances in related technologies. However， remote sensing target detection still faces numerous challenges， including the high cost of image annotation and the interference of complex weather conditions on detection performance. To address these issues， a novel image synthesis method that integrates reinforcement learning with controllable image rendering is proposed， transforming the generation of mixed real and synthetic remote sensing data into a reinforcement learning-based scene parameter search problem. Additionally， weather disturbance factors are introduced by simulating clouds， dust， and fog to augment the training data， enhancing its adaptability and realism in complex environments. Experimental results show that， compared with traditional methods， the proposed method achieves significant improvements across multiple evaluation metrics， with a maximum performance gain of 4.2%. This verifies the effectiveness of the proposed method and highlights the potential of synthetic remote sensing images and complex weather effects in improving target detection model accuracy， thereby providing strong support for the advancement of remote sensing target detection technology.

Key words: target detection, remote sensing image, image synthesis, reinforcement learning, deep learning

CLC Number:

Tianqi FAN, Zhengxia ZOU, Zhenwei SHI. Typical remote sensing target detection with data synthesis based on reinforcement learning[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(23): 631955.

Figures/Tables 23

Fig.1

Table 1

All rendering parameters required for synthetic environment

参数类型	变量名	描述	默认值	是否使用强化学习	参数约束
目标模型变换矩阵参数	$m_r x$	模型绕x轴旋转角度/（°）	90
	$m_r z_m i n$	模型绕z轴旋转最小角度/（°）	0
	$m_r z_m a x$	模型绕z轴旋转最大角度/（°）	360
	$m_t x_m i n$	模型x方向最小偏移量	-0.3	是	< $m_t x_m a x$
	$m_t x_m a x$	模型x方向最大偏移量	0.3	是	> $m_t x_m i n$
	$m_t y_m i n$	模型y方向最小偏移量	-0.3	是	< $m_t y_m a x$
	$m_t y_m a x$	模型y方向最大偏移量	0.3	是	> $m_t y_m i n$
	$m_t z$	模型z方向偏移量	0.002
	$m_s c a l e$	模型缩放因子	0.04
虚拟相机参数	$c_f$	相机焦距	221.8
	$c_p$	相机主点	（256，256）
	$c_r z_m i n$	相机绕z轴旋转最小角度/（°）	0
	$c_r z_m a x$	相机绕z轴旋转最大角度/（°）	360
	$c_t x$	相机x方向偏移量	0
	$c_t y$	相机y方向偏移量	0
	$c_t z_m i n$	相机z方向最小偏移量	0.3	是	< $c_t z_m a x$
	$c_t z_m a x$	相机z方向最大偏移量	0.5	是	> $c_t z_m i n$
模拟光照参数	$l_i n t e n s i t y$	光照强度	20	是
	$l_a n g l e_m i n$	光照最小角度/（°）	0	是	< $l_a n g l e_m a x$
	$l_a n g l e_m a x$	光照最大角度/（°）	50	是	> $l_a n g l e_m i n$

Table 1

Fig.2

Fig.3

Fig.4

Fig.5

Fig.6

Fig.7

Table 2

Table 3

Table 4

Table 5

Table 6

Table 7

Fig.8

Table 8

Table 9

Fig.9

Table 10

Table 11

Table 12

Fig.10

Table 13

References 30

[1]	VOULODIMOS A， DOULAMIS N， DOULAMIS A， et al. Deep learning for computer vision： A brief review［J］. Computational Intelligence and Neuroscience， 2018（1）： 7068349.
[2]	ZOU Z X， CHEN K Y， SHI Z W， et al. Object detection in 20 years： A survey［J］. Proceedings of the IEEE， 2023， 111（3）： 257-276.
[3]	杨旭. 遥感图像目标检测技术研究［D］. 郑州：战略支援部队信息工程大学， 2023： 1.
	YANG X. Research on object detection technology in remote sensing images［D］. Zhengzhou： PLA Strategic Support Force Information Engineering University， 2023： 1 （in Chinese）.
[4]	欧冬秀. 交通信息技术［M］. 上海：同济大学出版社， 2007： 9-26.
	OU D X. Transportation information technologies［M］. Shanghai： Tongji University Press， 2007： 9-26 （in Chinese）.
[5]	常嘉伟. 基于深度学习的飞机目标检测与跟踪系统的设计与实现［D］. 北京：北京邮电大学， 2022： 1-2.
	CHANG J W. Design and implementation of aircraft target detection and tracking system based on deep learning［D］. Beijing： Beijing University of Posts and Telecommunications， 2022： 1-2 （in Chinese）.
[6]	方浩文，施华君. 基于深度学习的卫星图像识别分类方法［J］. 计算机系统应用， 2019， 28（10）： 27-34.
	FANG H W， SHI H J. Satellite image recognition and classification method based on deep learning［J］. Computer Systems & Applications， 2019， 28（10）： 27-34 （in Chinese）.
[7]	薛振锋. 合成数据集的生成与优化方法及其在岩渣分析中的应用［D］. 杭州：浙江大学， 2021： 1-2.
	XUE Z F. Generation and optimization of synthetic dataset and its application in rock analysis［D］. Hangzhou： Zhejiang University， 2021： 1-2 （in Chinese）.
[8]	韩俊. 基于深度学习的遥感图像车辆检测［D］. 徐州：中国矿业大学， 2023： 5-7.
	HAN J. Deep learning-based vehicle detection for remote sensing images［D］. Xuzhou： China University of Mining and Technology， 2023： 5-7 （in Chinese）.
[9]	YANG X， SUN H， SUN X， et al. Position detection and direction prediction for arbitrary-oriented ships via multitask rotation region convolutional neural network［J］. IEEE Access， 2018， 6： 50839-50849.
[10]	CHENG G， SI Y J， HONG H L， et al. Cross-scale feature fusion for object detection in optical remote sensing images［J］. IEEE Geoscience and Remote Sensing Letters， 2021， 18（3）： 431-435.
[11]	XIE L C， XUE Y L， YE J Z. UAV aerial photography target detection algorithm based on improved YOLOv5［C］∥2022 International Conference on Machine Vision， Automatic Identification and Detection. 2022： 012024.
[12]	CHEN T X， YE Z， TAN Z T， et al. MiM-ISTD： Mamba-in-mamba for efficient infrared small-target detection［J］. IEEE Transactions on Geoscience and Remote Sensing， 2024， 62： 5007613.
[13]	LIU B， CHEN S B， WANG J X， et al. An oriented object detector for hazy remote sensing images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2024， 62： 1001711.
[14]	CUBUK E D， ZOPH B， MANÉ D， et al. AutoAugment： Learning augmentation strategies from data［C］∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2019： 113-123.
[15]	ZOPH B， CUBUK E D， GHIASI G， et al. Learning data augmentation strategies for object detection［C］∥Computer Vision-ECCV 2020. Cham： Springer， 2020： 566-583.
[16]	KIM J M， JANG J Y， SEO S， et al. MUM： Mix image tiles and UnMix feature tiles for semi-supervised object detection［C］∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2022： 14492-14501.
[17]	ROS G， SELLART L， MATERZYNSKA J， et al. The SYNTHIA dataset： A large collection of synthetic images for semantic segmentation of urban scenes［C］∥2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2016： 3234-3243.
[18]	TREMBLAY J， PRAKASH A， ACUNA D， et al. Training deep networks with synthetic data： Bridging the reality gap by domain randomization［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE Press， 2018： 10820-10828.
[19]	PRAKASH A， BOOCHOON S， BROPHY M， et al. Structured domain randomization： Bridging the reality gap by context-aware synthetic data［C］∥2019 International Conference on Robotics and Automation. Piscataway： IEEE Press， 2019： 7249-7255.
[20]	KIM J H， HWANG Y. GAN-based synthetic data augmentation for infrared small target detection［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 5002512.
[21]	MNHI V， KAVUKCUOGLU K， SILVER D， et al. Playing Atari with deep reinforcement learning［DB/OL］. arXiv： arXiv：1312. 5602， 2013.
[22]	WATKINS C J C H， DAYAN P. Q-learning［J］. Machine Learning， 1992， 8： 279-292.
[23]	ZOU Z X， LI W Y， SHI T Y， et al. Generative adversarial training for weakly supervised cloud matting［C］∥2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE Press， 2019： 201-210.
[24]	LI W Y， ZOU Z X， SHI Z W. Deep matting for cloud detection in remote sensing images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2020， 58（12）： 8490-8502.
[25]	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2017： 936-944.
[26]	XIA G S， BAI X， DING J， et al. DOTA： A large-scale dataset for object detection in aerial images［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 3974-3983.
[27]	CHENG G， YUAN X， YAO X W， et al. Towards large-scale small object detection： Survey and benchmarks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（11）： 13467-13488.
[28]	DING J， XUE N， LONG Y， et al. Learning RoI transformer for oriented object detection in aerial images［C］∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2019： 2844-2853.
[29]	ZHAO Y A， LV W Y， XU S L， et al. DETRs beat YOLOs on real-time object detection［C］∥2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2024： 16965-16974.
[30]	QIU S H， WEN G J， FAN Y X. Occluded object detection in high-resolution remote sensing images using partial configuration object model［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2017， 10（5）： 1909-1925.

参数	默认值	学习后的数值
模型x方向偏移量	-0.3~0.3	-0.03~0.26
模型y方向偏移量	-0.3~0.3	-0.28~0.30
相机z方向偏移量	0.3~0.5	0.33~0.52
光照强度	20	21.5
光照角度/（°）	0~50	24.0~71.0

目标类型	数据集名称	训练及验证集	测试集
车辆	真实遥感图像数据集	真实遥感图像	真实遥感图像
	合成遥感图像数据集	使用默认参数的合成遥感图像
	默认混合遥感图像数据集	真实+使用默认参数的合成遥感图像
	DQN混合遥感图像数据集	真实+使用深度Q网络学习参数的合成遥感图像
飞机	真实遥感图像数据集	真实遥感图像	真实遥感图像
	合成遥感图像数据集	使用默认参数的合成遥感图像
	默认混合遥感图像数据集	真实+使用默认参数的合成遥感图像
	DQN混合遥感图像数据集	真实+使用深度Q网络学习参数的合成遥感图像

目标类型	数据集	查准率	查全率	AP50	AP50-95
车辆	真实遥感图像数据集	0.837	0.796	0.849	0.482
	合成遥感图像数据集	0.193	0.306	0.212	0.095
	默认混合遥感图像数据集	0.842	0.797	0.859	0.494
	DQN混合遥感图像数据集	0.849	0.802	0.866	0.509
飞机	真实遥感图像数据集	0.930	0.906	0.954	0.644
	合成遥感图像数据集	0.420	0.254	0.221	0.088
	默认混合遥感图像数据集	0.949	0.913	0.962	0.668
	DQN混合遥感图像数据集	0.943	0.920	0.964	0.678

目标类型	数据集	查准率	查全率	AP50	AP50-95
车辆	真实遥感图像数据集	0.794	0.714	0.773	0.407
	默认混合遥感图像数据集	0.781	0.717	0.792	0.478
	DQN混合遥感图像数据集	0.780	0.807	0.831	0.494
飞机	真实遥感图像数据集	0.872	0.834	0.877	0.579
	默认混合遥感图像数据集	0.900	0.830	0.885	0.600
	DQN混合遥感图像数据集	0.892	0.853	0.906	0.629

目标类型	奖励函数	查准率	查全率	AP50	AP50-95
车辆	FID	0.849	0.802	0.866	0.509
	KID	0.846	0.804	0.863	0.503
	IS	0.794	0.803	0.850	0.476
飞机	FID	0.943	0.920	0.964	0.678
	KID	0.940	0.921	0.958	0.678
	IS	0.938	0.922	0.956	0.673

Typical remote sensing target detection with data synthesis based on reinforcement learning

RichHTML

PDF (PC)

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 23

References 30

Related Articles 15

Recommended Articles

Metrics

Comments

目标类型	数据集名称	训练及验证集	测试集
车辆	混合遥感图像数据集	真实遥感图像+使用深度Q网络学习到的参数的合成遥感图像	真实遥感图像+ 环境增强
车辆	环境增强的混合遥感图像数据集	真实遥感图像+使用深度Q网络学习到的参数的合成遥感图像+ 环境增强	真实遥感图像+ 环境增强
飞机	混合遥感图像数据集	真实遥感图像+使用深度Q网络学习到的参数的合成遥感图像	真实遥感图像+ 环境增强
飞机	环境增强的混合遥感图像数据集	真实遥感图像+使用深度Q网络学习到的参数的合成遥感图像+ 环境增强	真实遥感图像+ 环境增强

目标类型	数据集	查准率	查全率	AP50	AP50-95
飞机	混合遥感图像数据集	0.627	0.519	0.437	0.199
飞机	环境增强的混合遥感图像数据集	0.651	0.597	0.447	0.251

数据集	模型	查准率	查全率	AP50	AP50-95
真实遥感图像数据集	YOLOv11	0.837	0.796	0.849	0.482
真实遥感图像数据集	SFC-YOLOv11	0.797	0.818	0.862	0.486
DQN混合遥感图像数据集	YOLOv11	0.849	0.802	0.866	0.509
DQN混合遥感图像数据集	SFC-YOLOv11	0.860	0.812	0.877	0.513

目标类型	方法	查准率	查全率	AP50	AP50-95
车辆	RT-DETR	0.794	0.714	0.773	0.407
	YOLOv8	0.797	0.810	0.853	0.473
	YOLOv11	0.837	0.796	0.849	0.482
	所提方法	0.860	0.812	0.877	0.513
飞机	RT-DETR	0.872	0.834	0.877	0.579
	YOLOv8	0.928	0.916	0.949	0.646
	YOLOv11	0.930	0.906	0.954	0.644
	所提方法	0.947	0.935	0.971	0.688

[1]	Tao ZHANG, Pan LI, Zixu WANG, Zhenhua ZHU. Design of reward functions for helicopter attitude control in reinforcement learning [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(S1): 732184-732184.
[2]	Jianyu XU, Li ZHOU, Zhanxue WANG, Jie SHI, Hao SHI. Calculation method for hypersonic plume infrared radiation based on a fast line-by-line calculation model [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(8): 630778-630778.
[3]	Kaifang WAN, Zhilin WU, Yunhui WU, Haozhi QIANG, Yibo WU, Bo LI. Cooperative location of multiple UAVs with deep reinforcement learning in GPS-denied environment [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(8): 331024-331024.
[4]	Lingfeng JIANG, Xinkai LI, Hai ZHANG, Hanwei LI, Hongli ZHANG. Mapless navigation of UAVs in dynamic environments based on an improved TD3 algorithm [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(8): 331035-331035.
[5]	Lingjie MENG, Hongguang LI, Xinjun LI. SAR image simulation method guided by geomorphic category information [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(7): 331003-331003.
[6]	Zhihao ZHAO, Zhaohua YANG, Yun WU, Yuanjin YU. Single-photon counting imaging denoising method based on deep learning in low-light environment [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(3): 630531-630531.
[7]	Min YANG, Guanjun LIU, Ziyuan ZHOU. Control of lunar landers based on secure reinforcement learning [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(3): 630553-630553.
[8]	Yiquan WU, Kang TONG. Research advances on deep learning-based small object detection in UAV aerial images [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(3): 30848-030848.
[9]	Chen WANG, Caisheng WEI, Zeyang YIN, Kai JIN, Xingchen LI. Collaborative planning of multi-UAV trajectories and communication strategies considering channel resource constraints [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(18): 331837-331837.
[10]	Yizhe LUO, Hui ZHANG, Xinde YU, Zhao JIN, Shuo FENG, Yucheng SHI, Mingling XU. Hierarchical dynamic scheduling for multi-wave carrier-based aircraft ammunition support missions [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(18): 331945-331945.
[11]	Xiangsong HUANG, Mengyu WANG, Dapeng PAN. Adversarial reinforcement learning-based UAV escape path planning method [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(17): 331637-331637.
[12]	Xiaowei JIANG, Yiquan WU. Research progress of UAV aerial image mosaic methods [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(17): 331799-331799.
[13]	Yonggang YANG, Wentao JIANG, Zhiyun GAO. Real-time target detection algorithm for low altitude UAVs [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(16): 331619-331619.
[14]	Lin CHEN, Xiwen GU, Zhiying CHEN, Zhuo ZHANG, Xiaoliang SUN. High-precision monocular vision pose measurement for large distance span in carrier landing guidance [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(15): 331568-331568.
[15]	Yu WANG, Zhipeng XIE, Yongjian TIAN, Guanglei MENG. Distributed UAV formation control with virtual structure guided reinforcement learning [J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(15): 331354-331354.

目标类型	合成图像数量/（10³张）	AP50	AP50-95
车辆	0	0.849	0.482
	1	0.855	0.492
	3	0.863	0.498
	5	0.866	0.509
	7	0.870	0.511
	9	0.871	0.509
	16	0.852	0.477
飞机	0	0.954	0.664
	1	0.958	0.664
	3	0.961	0.673
	5	0.964	0.678
	7	0.966	0.681
	9	0.965	0.682
	16	0.958	0.681