基于残差混合监督网络的无人机目标阴影检测

doi:10.7527/S1000-6893.2024.30062

论文

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于残差混合监督网络的无人机目标阴影检测

王潇¹, 刘贞报¹(), 史忠科²

^1.西北工业大学民航学院，西安 710072
^2.西北工业大学自动化学院，西安 710129

收稿日期:2024-01-02 修回日期:2024-01-19 接受日期:2024-03-15 出版日期:2024-09-15 发布日期:2024-03-29
通讯作者: 刘贞报 E-mail:liuzhenbao@nwpu.edu.cn
基金资助:
国家自然科学基金(52072309);陕西省重点研发计划(2019ZDLGY14-02-01);深圳市基础研究资助项目(JCYJ20190806152203506);航空科学基金(ASFC-2018ZC53026)

Shadow detection of UAV target based on residual mixed supervision network

Xiao WANG¹, Zhenbao LIU¹(), Zhongke SHI²

^1.School of Civil Aviation，Northwestern Polytechnical University，Xi’an 710072，China
^2.School of Automation，Northwestern Polytechnical University，Xi’an 710129，China

Received:2024-01-02 Revised:2024-01-19 Accepted:2024-03-15 Online:2024-09-15 Published:2024-03-29
Contact: Zhenbao LIU E-mail:liuzhenbao@nwpu.edu.cn
Supported by:
National Natural Science Foundation of China(52072309);Key Research and Development Program of Shaanxi

摘要/Abstract

摘要：

无人机在检测和跟踪目标过程中受到目标伪装、目标遮挡、移动躲避以及假目标等因素的干扰，而无人机目标附近的阴影区域加剧了这些因素对目标检测和跟踪性能的影响，因此检测无人机目标阴影区域是无人机领域的重要研究任务之一。现有无人机目标阴影检测方法面临训练数据数量有限、数据收集标注困难以及无人机目标中存在大量尺寸较小的细碎阴影区域等问题，针对这些问题，提出一种基于残差混合监督网络的无人机目标阴影检测算法。首先针对无人机目标阴影检测任务的特点设计分辨率注意力网络，在结合底层纹理特征和高层语义特征的过程中，更准确地保留底层纹理特征。然后设计混合监督网络扩充训练数据集，结合普通阴影检测数据集和无人机目标阴影检测数据集训练教师网络，使用无人机阴影检测数据集和教师网络的参数训练学生网络。同时设计残差图像，利用教师网络检测结果和标准结果之间的残差图像扩充训练数据集，使阴影检测网络更加关注细碎阴影区域。最后，在2个公开实验数据集上和已有方法进行对比实验，在各个评价参数上取得了最多41.6%的提升效果，证明所提无人机目标阴影检测算法较好的解决了现有方法存在的问题，具有较高的准确性。

关键词: 无人机目标, 阴影检测, 混合监督网络, 残差图像, 分辨率注意力网络

Abstract:

The targets camouflage， targets occlusion， moving dodge and fake targets deteriorate the performance of UAV object detection and tracking， and the shadow regions around UAV target aggravate the negative effect of these factors. Thus， shadow detection is an important task for UAV. The shadow detection of UAV target suffering from limited training images， difficulty in labeling ground truth data and mass of tiny shadow regions. To deal with these problems， we propose a UAV target shadow detection method based on residual mixed supervision network. Firstly， we design a resolution-aware attention shadow detection network based on the character of shadow regions in UAV target. The newly designed network can maintain the lower texture feature more accurately. Then we design mixed supervision network to enlarge the number of training images. The teacher network is trained by both ordinary dataset and UAV dataset， while the student network is trained based on UAV dataset and the parameter of teacher network. Meanwhile we design residual images to further enlarge the number of training images and makes the network pay more attention to tiny shadow regions. The residual image is calculated by measuring the difference between detection results of teacher network and ground truth data. At last， the proposed method is compared with existing methods on two public UAV target shadow detection datasets. The evaluation metrics are improved by 41.6% at most. The experiment proves the effectiveness and accuracy of proposed shadow detection method on UAV target.

Key words: UAV target, shadow detection, mixed supervision network, residual images, resolution-aware attention network

中图分类号:

V249

王潇, 刘贞报, 史忠科. 基于残差混合监督网络的无人机目标阴影检测[J]. 航空学报, 2024, 45(17): 530062.

Xiao WANG, Zhenbao LIU, Zhongke SHI. Shadow detection of UAV target based on residual mixed supervision network[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(17): 530062.

图/表 11

图 1

图 2

图 3

图 4

表 1

表 2

图 5

表 3

图 6

图 7

表 4

参考文献 34

1	石争浩，仵晨伟，李成建，等. 航空遥感图像深度学习目标检测技术研究进展［J］. 中国图象图形学报， 2023， 28（9）： 2616-2643.
	SHI Z H， WU C W， LI C J， et al. Object detection techniques based on deep learning for aerial remote sensing images： A survey［J］. Journal of Image and Graphics， 2023， 28（9）： 2616-2643 （in Chinese）.
2	刘贞报，马博迪，高红岗，等. 基于形态自适应网络的无人机目标跟踪方法［J］. 航空学报， 2021， 42（4）： 524904.
	LIU Z B， MA B D， GAO H G， et al. Adaptive morphological network based UAV target tracking algorithm［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（4）： 524904 （in Chinese）.
3	江波，屈若锟，李彦冬，等. 基于深度学习的无人机航拍目标检测研究综述［J］. 航空学报， 2021， 42（4）： 524519.
	JIANG B， QU R K， LI Y D， et al. Object detection in UAV imagery based on deep learning： Review［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（4）： 524519 （in Chinese）.
4	刘芳，韩笑. 基于多尺度深度学习的自适应航拍目标检测［J］. 航空学报， 2022， 43（5）： 325270.
	LIU F， HAN X. Adaptive aerial object detection based on multi-scale deep learning［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（5）： 325270 （in Chinese）.
5	施文灶，毛政元. 基于图割与阴影邻接关系的高分辨率遥感影像建筑物提取方法［J］. 电子学报， 2016， 44（12）： 2849-2854.
	SHI W Z， MAO Z Y. Building extraction from high resolution remotely sensed imagery based on shadows and graph-cut segmentation［J］. Acta Electronica Sinica， 2016， 44（12）： 2849-2854 （in Chinese）.
6	LI Y， WANG H N， FANG Y Q， et al. Learning power Gaussian modeling loss for dense rotated object detection in remote sensing images［J］. Chinese Journal of Aeronautics， 2023， 36（10）： 353-365.
7	GUO R Q， DAI Q Y， HOIEM D. Paired regions for shadow detection and removal［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（12）： 2956-2967.
8	LUO S， LI H F， SHEN H F. Deeply supervised convolutional neural network for shadow detection based on a novel aerial shadow imagery dataset［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2020， 167： 443-457.
9	LUO S， LI H F， ZHU R Z， et al. ESPFNet： An edge-aware spatial pyramid fusion network for salient shadow detection in aerial remote sensing images［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2021， 14： 4633-4646.
10	LIU D Y， ZHANG J P， WU Y H， et al. A shadow detection algorithm based on multiscale spatial attention mechanism for aerial remote sensing images［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： 6003905.
11	ZHU Q Q， YANG Y， SUN X L， et al. CDANet： contextual detail-aware network for high-spatial-resolution remote-sensing imagery shadow detection［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 5617415.
12	ZHANG J， SHI X L， ZHENG C Y， et al. MRPFA-net for shadow detection in remote-sensing images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2023， 61： 5514011.
13	林雨准，张保明，郭海涛，等. 结合多尺度分割和形态学运算的高分辨率遥感影像阴影检测［J］. 中国图象图形学报， 2018， 23（8）： 1263-1272.
	LIN Y Z， ZHANG B M， GUO H T， et al. Shadow detection from high resolution remote sensing imagery based on multi-scale segmentation and morphology operation［J］. Journal of Image and Graphics， 2018， 23（8）： 1263-1272 （in Chinese）.
14	VICENTE T F Y， HOAI M， SAMARAS D. Leave-one-out kernel optimization for shadow detection and removal［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（3）： 682-695.
15	KHAN S H， BENNAMOUN M， SOHEL F， et al. Automatic shadow detection and removal from a single image［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（3）： 431-446.
16	VICENTE T F Y， HOU L， YU C P， et al. Large-scale training of shadow detectors with noisily-annotated shadow examples［C］∥European Conference on Computer Vision. Cham： Springer， 2016： 816-832.
17	NGUYEN V， VICENTE T F Y， ZHAO M Z， et al. Shadow detection with conditional generative adversarial networks［C］∥ 2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 4520-4528.
18	LE H， VICENTE T F Y， NGUYEN V， et al. A+D net： Training a shadow detector with adversarial shadow attenuation［C］∥European Conference on Computer Vision. Cham： Springer， 2018： 680-696.
19	WANG J F， LI X， YANG J. Stacked conditional generative adversarial networks for jointly learning shadow detection and shadow removal［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 1788-1797.
20	HU X W， FU C W， ZHU L， et al. Direction-aware spatial context features for shadow detection and removal［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（11）： 2795-2808.
21	ZHU L， DENG Z J， HU X W， et al. Bidirectional feature pyramid network with recurrent attention residual modules for shadow detection［C］∥European Conference on Computer Vision. Cham： Springer， 2018： 122-137.
22	ZHENG Q L， QIAO X T， CAO Y， et al. Distraction-aware shadow detection［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2019： 5162-5171.
23	CHEN Z H， ZHU L， WAN L， et al. A multi-task mean teacher for semi-supervised shadow detection［C］∥ 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 5610-5619.
24	JIN Y W， XU W B， HU Z W， et al. GSCA-UNet： towards automatic shadow detection in urban aerial imagery with global-spatial-context attention module［J］. Remote Sensing， 2020， 12（17）： 2864.
25	TARVAINEN A， VALPOLA H. Mean teachers are better role models： Weight-averaged consistency targets improve semi-supervised deep learning results［C］∥ Proceedings of the 31st International Conference on Neural Information Processing Systems. New York：ACM， 2017：1195–1204.
26	LIU Z， MAO H Z， WU C Y， et al. A ConvNet for the 2020s［C］∥ 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 11966-11976.
27	LIU Z， LIN Y T， CAO Y， et al. Swin Transformer： Hierarchical vision transformer using shifted windows［C］∥ 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2021： 9992-10002.
28	DONG X Y， BAO J M， CHEN D D， et al. CSWin transformer： A general vision transformer backbone with cross-shaped windows［C］∥ 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 12114-12124.
29	ZHANG Y D， CHEN G， VUKOMANOVIC J， et al. Recurrent Shadow Attention Model （RSAM） for shadow removal in high-resolution urban land-cover mapping［J］. Remote Sensing of Environment， 2020， 247： 111945.
30	HE Z J， ZHANG Z Z， GUO M Q， et al. Adaptive unsupervised-shadow-detection approach for remote-sensing image based on multichannel features［J］. Remote Sensing， 2022， 14（12）： 2756.
31	YANG Y， GUO M Q， ZHU Q Q. CADNet： Top-down contextual saliency detection network for high spatial resolution remote sensing image shadow detection［C］∥ 2021 IEEE International Geoscience and Remote Sensing Symposium IGARSS. Piscataway： IEEE Press， 2021： 4075-4078.
32	HU X W， WANG T Y， FU C W， et al. Revisiting shadow detection： A new benchmark dataset for complex world［J］. IEEE Transactions on Image Processing， 2021， 30： 1925-1934.
33	RONNEBERGER O， FISCHER P， BROX T. U-net： Convolutional networks for biomedical image segmentation［C］∥International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham： Springer， 2015： 234-241.
34	ZHU J J， SAMUEL K G G， MASOOD S Z， et al. Learning to recognize shadows in monochromatic natural images［C］∥ 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2010： 223-230.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

方法	AISD数据集				SSAD数据集
方法	F1	OA	IoU	BER	F1	OA	IoU	BER
DeepLabV3	91.15	95.46	83.74	5.66	81.31	92.13	70.96	16.70
MTMT	90.68	94.46	78.26	8.48	79.02	88.47	60.71	18.96
DSSDNet	91.79	95.57		6.24	79.31
GSCA-UNet	91.69	96.29	84.88	5.51
CADNet	91.21
ESPFNet	92.04
FSDNet	92.36	95.81	85.51	5.53	82.65	92.25	73.31	15.34
DLA-PSO	82.70	85.26
CDANet	92.41				83.96
MRPFANet	92.61	96.11	86.24	5.42	85.21	93.38	75.84	14.99
本文方法	93.28	96.13	85.61	3.88	86.55	93.89	74.29	8.75

方法	图像尺寸	单张图像检测时间/s
DeepLabV3	512×512	0.093
MTMT	512×512	0.145
FSDNet	512×512	0.382
CDANet	512×512	0.171
MRPFANet	512×512	0.265
所提方法	512×512	0.135

实验序号	网络结构	训练数据集	是否使用混合监督网络	BER
1	U-Net	AISD	×	14.52
2	CM	AISD	×	6.93
3	CM+SW	AISD	×	5.74
4	CM+CSW	AISD	×	5.66
5	CM+MW	AISD	×	4.88
6	CM+MW	SBU	×	8.48
7	CM+MW	AISD+SBU	×	5.01
8	CM+MW	AISD+SBU	√	4.18
9	CM+MW	AISD+RE+SBU	√	3.88

实验序号	检测方法	测试数据集	训练数据集	是否使用混合监督网络	BER
1	本文方法	SSAD	SSAD+RE	×	8.75
2	本文方法	SSAD	AISD+RE	×	29.87
3	本文方法	SSAD	AISD+RE+SBU	√	13.38
4	MRPFANet	SSAD	SSAD+RE	×	14.24
5	MRPFANet	SSAD	AISD+RE	×	23.37
6	本文方法	UCF	AISD+RE	×	12.76
7	本文方法	UCF	AISD+RE+SBU	√	8.27
8	MRPFANet	UCF	AISD+RE	×	19.24

[1]	徐昊郎荣玲仇雨薇范亚. 基于紧耦合TDOA/AOA的鲁棒SOP定位算法[J]. 航空学报, 0, (): 1-0.
[2]	廉云霄李霓谢锋周攀董长印. 基于时空信息融合的多机协同空战决策方法[J]. 航空学报, 0, (): 1-0.
[3]	黄鑫邹嘉赫肖舒怡李小杭. 防御一类网络隐蔽攻击的自适应控制策略[J]. 航空学报, 0, (): 1-0.
[4]	敖颖陈浩李慧铭肖昆王祥科. 固定翼无人机集群仿射编队分层控制方法（飞行器安全控制专栏）[J]. 航空学报, 0, (): 1-0.
[5]	李煜徐新龙李珂澄温志涌李霓刘小雄. 基于安全约束强化学习的深失速改出控制研究[J]. 航空学报, 0, (): 1-0.
[6]	李煜陈家鑫李珂澄溫志湧李霓刘小雄. 不对称机翼损伤飞机特性分析与增量容错控制（先进飞行器安全控制专栏）[J]. 航空学报, 0, (): 1-0.
[7]	崔玉伟孟宪锋张思程李爱军. 基于新型网络分布式架构的飞控系统故障容错方法（飞行器安全控制专栏）[J]. 航空学报, 0, (): 1-0.
[8]	郑锐平史静平李天宇吕永玺. 基于预设时间的固定翼无人机紧密编队控制（先进飞行器安全控制专栏）[J]. 航空学报, 0, (): 1-0.
[9]	赵江, 皮明豪, 田栢苓, 池沛, 王英勋. 面向多目标跟踪的集群无人机自组织共识决策方法[J]. 航空学报, 2025, 46(16): 331635-331635.
[10]	樊薇, 陈赛赛, 熊玉勇, 鲁金忠, 彭志科. 基于RD-S校正的叶端整剖面间隙微波测量方法[J]. 航空学报, 2025, 46(16): 231607-231607.
[11]	宋远, 李锐, 黄智刚. RTK完好性指标分配方法[J]. 航空学报, 2025, 46(16): 331655-331655.
[12]	陈霖, 顾曦文, 陈知颖, 张倬, 孙晓亮. 适应着舰引导大距离跨度的高精度单目视觉位姿测量[J]. 航空学报, 2025, 46(15): 331568-331568.
[13]	黄山, 史静平, 朱奇, 吕永玺, 屈晓波. 翼面损伤飞机预设时间增量反步容错控制[J]. 航空学报, 2025, 46(15): 331503-331503.
[14]	严国乘王宏伦王延祥伦岳斌朱俊帆. 无人机拖曳式空中回收机翼折叠过程预设性能抗摆动控制[J]. 航空学报, 0, (): 1-0.
[15]	荣尔超张钰迎吕熙敏梁峻宁. 基于神经网络气动预测模型的NMPC的尾座式可垂直起降无人机轨迹跟踪控制器[J]. 航空学报, 0, (): 1-0.

基于残差混合监督网络的无人机目标阴影检测

Shadow detection of UAV target based on residual mixed supervision network

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 34

相关文章 15

编辑推荐

Metrics

本文评价