基于残差混合监督网络的无人机目标阴影检测

doi:10.7527/S1000-6893.2024.30062

论文

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于残差混合监督网络的无人机目标阴影检测

王潇¹, 刘贞报¹(), 史忠科²

^1.西北工业大学民航学院，西安 710072
^2.西北工业大学自动化学院，西安 710129

收稿日期:2024-01-02 修回日期:2024-01-19 接受日期:2024-03-15 出版日期:2024-04-02 发布日期:2024-03-29
通讯作者: 刘贞报 E-mail:liuzhenbao@nwpu.edu.cn
基金资助:
国家自然科学基金(52072309);陕西省重点研发计划(2019ZDLGY14-02-01);深圳市基础研究资助项目(JCYJ20190806152203506);航空科学基金(ASFC-2018ZC53026)

Shadow detection of UAV target based on residual mixed supervision network

Xiao WANG¹, Zhenbao LIU¹(), Zhongke SHI²

^1.School of Civil Aviation，Northwestern Polytechnical University，Xi’an 710072，China
^2.School of Automation，Northwestern Polytechnical University，Xi’an 710129，China

Received:2024-01-02 Revised:2024-01-19 Accepted:2024-03-15 Online:2024-04-02 Published:2024-03-29
Contact: Zhenbao LIU E-mail:liuzhenbao@nwpu.edu.cn
Supported by:
National Natural Science Foundation of China(52072309);Key Research and Development Program of Shaanxi

摘要/Abstract

摘要：

无人机在检测和跟踪目标过程中受到目标伪装、目标遮挡、移动躲避以及假目标等因素的干扰，而无人机目标附近的阴影区域加剧了这些因素对目标检测和跟踪性能的影响，因此检测无人机目标阴影区域是无人机领域的重要研究任务之一。现有无人机目标阴影检测方法面临训练数据数量有限、数据收集标注困难以及无人机目标中存在大量尺寸较小的细碎阴影区域等问题，针对这些问题，提出一种基于残差混合监督网络的无人机目标阴影检测算法。首先针对无人机目标阴影检测任务的特点设计分辨率注意力网络，在结合底层纹理特征和高层语义特征的过程中，更准确地保留底层纹理特征。然后设计混合监督网络扩充训练数据集，结合普通阴影检测数据集和无人机目标阴影检测数据集训练教师网络，使用无人机阴影检测数据集和教师网络的参数训练学生网络。同时设计残差图像，利用教师网络检测结果和标准结果之间的残差图像扩充训练数据集，使阴影检测网络更加关注细碎阴影区域。最后，在2个公开实验数据集上和已有方法进行对比实验，在各个评价参数上取得了最多41.6%的提升效果，证明所提无人机目标阴影检测算法较好的解决了现有方法存在的问题，具有较高的准确性。

关键词: 无人机目标, 阴影检测, 混合监督网络, 残差图像, 分辨率注意力网络

Abstract:

The targets camouflage， targets occlusion， moving dodge and fake targets deteriorate the performance of UAV object detection and tracking， and the shadow regions around UAV target aggravate the negative effect of these factors. Thus， shadow detection is an important task for UAV. The shadow detection of UAV target suffering from limited training images， difficulty in labeling ground truth data and mass of tiny shadow regions. To deal with these problems， we propose a UAV target shadow detection method based on residual mixed supervision network. Firstly， we design a resolution-aware attention shadow detection network based on the character of shadow regions in UAV target. The newly designed network can maintain the lower texture feature more accurately. Then we design mixed supervision network to enlarge the number of training images. The teacher network is trained by both ordinary dataset and UAV dataset， while the student network is trained based on UAV dataset and the parameter of teacher network. Meanwhile we design residual images to further enlarge the number of training images and makes the network pay more attention to tiny shadow regions. The residual image is calculated by measuring the difference between detection results of teacher network and ground truth data. At last， the proposed method is compared with existing methods on two public UAV target shadow detection datasets. The evaluation metrics are improved by 41.6% at most. The experiment proves the effectiveness and accuracy of proposed shadow detection method on UAV target.

Key words: UAV target, shadow detection, mixed supervision network, residual images, resolution-aware attention network

中图分类号:

V249

王潇, 刘贞报, 史忠科. 基于残差混合监督网络的无人机目标阴影检测[J]. 航空学报, 2024, 45(17): 530062-530062.

Xiao WANG, Zhenbao LIU, Zhongke SHI. Shadow detection of UAV target based on residual mixed supervision network[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(17): 530062-530062.

图/表 11

图 1

图 2

图 3

图 4

表 1

表 2

图 5

表 3

图 6

图 7

表 4

参考文献 34

1	石争浩，仵晨伟，李成建，等. 航空遥感图像深度学习目标检测技术研究进展［J］. 中国图象图形学报， 2023， 28（9）： 2616-2643.
	SHI Z H， WU C W， LI C J， et al. Object detection techniques based on deep learning for aerial remote sensing images： A survey［J］. Journal of Image and Graphics， 2023， 28（9）： 2616-2643 （in Chinese）.
2	刘贞报，马博迪，高红岗，等. 基于形态自适应网络的无人机目标跟踪方法［J］. 航空学报， 2021， 42（4）： 524904.
	LIU Z B， MA B D， GAO H G， et al. Adaptive morphological network based UAV target tracking algorithm［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（4）： 524904 （in Chinese）.
3	江波，屈若锟，李彦冬，等. 基于深度学习的无人机航拍目标检测研究综述［J］. 航空学报， 2021， 42（4）： 524519.
	JIANG B， QU R K， LI Y D， et al. Object detection in UAV imagery based on deep learning： Review［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（4）： 524519 （in Chinese）.
4	刘芳，韩笑. 基于多尺度深度学习的自适应航拍目标检测［J］. 航空学报， 2022， 43（5）： 325270.
	LIU F， HAN X. Adaptive aerial object detection based on multi-scale deep learning［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（5）： 325270 （in Chinese）.
5	施文灶，毛政元. 基于图割与阴影邻接关系的高分辨率遥感影像建筑物提取方法［J］. 电子学报， 2016， 44（12）： 2849-2854.
	SHI W Z， MAO Z Y. Building extraction from high resolution remotely sensed imagery based on shadows and graph-cut segmentation［J］. Acta Electronica Sinica， 2016， 44（12）： 2849-2854 （in Chinese）.
6	LI Y， WANG H N， FANG Y Q， et al. Learning power Gaussian modeling loss for dense rotated object detection in remote sensing images［J］. Chinese Journal of Aeronautics， 2023， 36（10）： 353-365.
7	GUO R Q， DAI Q Y， HOIEM D. Paired regions for shadow detection and removal［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（12）： 2956-2967.
8	LUO S， LI H F， SHEN H F. Deeply supervised convolutional neural network for shadow detection based on a novel aerial shadow imagery dataset［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2020， 167： 443-457.
9	LUO S， LI H F， ZHU R Z， et al. ESPFNet： An edge-aware spatial pyramid fusion network for salient shadow detection in aerial remote sensing images［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2021， 14： 4633-4646.
10	LIU D Y， ZHANG J P， WU Y H， et al. A shadow detection algorithm based on multiscale spatial attention mechanism for aerial remote sensing images［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： 6003905.
11	ZHU Q Q， YANG Y， SUN X L， et al. CDANet： contextual detail-aware network for high-spatial-resolution remote-sensing imagery shadow detection［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 5617415.
12	ZHANG J， SHI X L， ZHENG C Y， et al. MRPFA-net for shadow detection in remote-sensing images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2023， 61： 5514011.
13	林雨准，张保明，郭海涛，等. 结合多尺度分割和形态学运算的高分辨率遥感影像阴影检测［J］. 中国图象图形学报， 2018， 23（8）： 1263-1272.
	LIN Y Z， ZHANG B M， GUO H T， et al. Shadow detection from high resolution remote sensing imagery based on multi-scale segmentation and morphology operation［J］. Journal of Image and Graphics， 2018， 23（8）： 1263-1272 （in Chinese）.
14	VICENTE T F Y， HOAI M， SAMARAS D. Leave-one-out kernel optimization for shadow detection and removal［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（3）： 682-695.
15	KHAN S H， BENNAMOUN M， SOHEL F， et al. Automatic shadow detection and removal from a single image［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（3）： 431-446.
16	VICENTE T F Y， HOU L， YU C P， et al. Large-scale training of shadow detectors with noisily-annotated shadow examples［C］∥European Conference on Computer Vision. Cham： Springer， 2016： 816-832.
17	NGUYEN V， VICENTE T F Y， ZHAO M Z， et al. Shadow detection with conditional generative adversarial networks［C］∥ 2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 4520-4528.
18	LE H， VICENTE T F Y， NGUYEN V， et al. A+D net： Training a shadow detector with adversarial shadow attenuation［C］∥European Conference on Computer Vision. Cham： Springer， 2018： 680-696.
19	WANG J F， LI X， YANG J. Stacked conditional generative adversarial networks for jointly learning shadow detection and shadow removal［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 1788-1797.
20	HU X W， FU C W， ZHU L， et al. Direction-aware spatial context features for shadow detection and removal［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（11）： 2795-2808.
21	ZHU L， DENG Z J， HU X W， et al. Bidirectional feature pyramid network with recurrent attention residual modules for shadow detection［C］∥European Conference on Computer Vision. Cham： Springer， 2018： 122-137.
22	ZHENG Q L， QIAO X T， CAO Y， et al. Distraction-aware shadow detection［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2019： 5162-5171.
23	CHEN Z H， ZHU L， WAN L， et al. A multi-task mean teacher for semi-supervised shadow detection［C］∥ 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 5610-5619.
24	JIN Y W， XU W B， HU Z W， et al. GSCA-UNet： towards automatic shadow detection in urban aerial imagery with global-spatial-context attention module［J］. Remote Sensing， 2020， 12（17）： 2864.
25	TARVAINEN A， VALPOLA H. Mean teachers are better role models： Weight-averaged consistency targets improve semi-supervised deep learning results［C］∥ Proceedings of the 31st International Conference on Neural Information Processing Systems. New York：ACM， 2017：1195–1204.
26	LIU Z， MAO H Z， WU C Y， et al. A ConvNet for the 2020s［C］∥ 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 11966-11976.
27	LIU Z， LIN Y T， CAO Y， et al. Swin Transformer： Hierarchical vision transformer using shifted windows［C］∥ 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2021： 9992-10002.
28	DONG X Y， BAO J M， CHEN D D， et al. CSWin transformer： A general vision transformer backbone with cross-shaped windows［C］∥ 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 12114-12124.
29	ZHANG Y D， CHEN G， VUKOMANOVIC J， et al. Recurrent Shadow Attention Model （RSAM） for shadow removal in high-resolution urban land-cover mapping［J］. Remote Sensing of Environment， 2020， 247： 111945.
30	HE Z J， ZHANG Z Z， GUO M Q， et al. Adaptive unsupervised-shadow-detection approach for remote-sensing image based on multichannel features［J］. Remote Sensing， 2022， 14（12）： 2756.
31	YANG Y， GUO M Q， ZHU Q Q. CADNet： Top-down contextual saliency detection network for high spatial resolution remote sensing image shadow detection［C］∥ 2021 IEEE International Geoscience and Remote Sensing Symposium IGARSS. Piscataway： IEEE Press， 2021： 4075-4078.
32	HU X W， WANG T Y， FU C W， et al. Revisiting shadow detection： A new benchmark dataset for complex world［J］. IEEE Transactions on Image Processing， 2021， 30： 1925-1934.
33	RONNEBERGER O， FISCHER P， BROX T. U-net： Convolutional networks for biomedical image segmentation［C］∥International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham： Springer， 2015： 234-241.
34	ZHU J J， SAMUEL K G G， MASOOD S Z， et al. Learning to recognize shadows in monochromatic natural images［C］∥ 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2010： 223-230.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

方法	AISD数据集				SSAD数据集
方法	F1	OA	IoU	BER	F1	OA	IoU	BER
DeepLabV3	91.15	95.46	83.74	5.66	81.31	92.13	70.96	16.70
MTMT	90.68	94.46	78.26	8.48	79.02	88.47	60.71	18.96
DSSDNet	91.79	95.57		6.24	79.31
GSCA-UNet	91.69	96.29	84.88	5.51
CADNet	91.21
ESPFNet	92.04
FSDNet	92.36	95.81	85.51	5.53	82.65	92.25	73.31	15.34
DLA-PSO	82.70	85.26
CDANet	92.41				83.96
MRPFANet	92.61	96.11	86.24	5.42	85.21	93.38	75.84	14.99
本文方法	93.28	96.13	85.61	3.88	86.55	93.89	74.29	8.75

方法	图像尺寸	单张图像检测时间/s
DeepLabV3	512×512	0.093
MTMT	512×512	0.145
FSDNet	512×512	0.382
CDANet	512×512	0.171
MRPFANet	512×512	0.265
所提方法	512×512	0.135

实验序号	网络结构	训练数据集	是否使用混合监督网络	BER
1	U-Net	AISD	×	14.52
2	CM	AISD	×	6.93
3	CM+SW	AISD	×	5.74
4	CM+CSW	AISD	×	5.66
5	CM+MW	AISD	×	4.88
6	CM+MW	SBU	×	8.48
7	CM+MW	AISD+SBU	×	5.01
8	CM+MW	AISD+SBU	√	4.18
9	CM+MW	AISD+RE+SBU	√	3.88

实验序号	检测方法	测试数据集	训练数据集	是否使用混合监督网络	BER
1	本文方法	SSAD	SSAD+RE	×	8.75
2	本文方法	SSAD	AISD+RE	×	29.87
3	本文方法	SSAD	AISD+RE+SBU	√	13.38
4	MRPFANet	SSAD	SSAD+RE	×	14.24
5	MRPFANet	SSAD	AISD+RE	×	23.37
6	本文方法	UCF	AISD+RE	×	12.76
7	本文方法	UCF	AISD+RE+SBU	√	8.27
8	MRPFANet	UCF	AISD+RE	×	19.24

[1]	董希旺于江龙化永朝吕金虎任章. 集群系统智能协同IOODA技术体系架构与关键技术[J]. 航空学报, 0, (): 0-0.
[2]	姚静杨帅王梦阳王佩. 一种低功耗数字阀建模、性能分析及试验验证[J]. 航空学报, 0, (): 0-0.
[3]	潘武, 王翔, 吕娜, 任智源, 刘文亚. 悬停时间约束下的多无人机中继连通性优化方法[J]. 航空学报, 2024, 45(16): 329854-329854.
[4]	赵江, 张璇, 池沛, 王英勋. 空地无人集群自调节控制与动态路径规划方法[J]. 航空学报, 2024, 45(16): 329809-329809.
[5]	李坤, 布树辉, 贾旋, 董逸飞, 陈霖. 基于惯性导航与数据链的飞机间相对定位方法[J]. 航空学报, 2024, 45(15): 329594-329594.
[6]	钟伦珑, 岳文静, 李雪艳. 基于EWMA控制图抗差估计的欺骗干扰检测算法[J]. 航空学报, 2024, 45(15): 329655-329655.
[7]	武天才, 王宏伦, 任斌, 刘一恒, 吴星雨, 严国乘. 考虑规避与突防的高超声速飞行器智能容错制导控制一体化设计[J]. 航空学报, 2024, 45(15): 329607-329607.
[8]	朱嘉兴, 李奕宁, 牛世勇, 田一松, 李頔, 解一鸣. 基于CFD计算域分区耦合技术的航空微型溢流阀流固耦合全域数值计算[J]. 航空学报, 2024, 45(15): 630202-630202.
[9]	逯明清廖飞高福奎邢贝贝吴世崇范召林苏玉民吴文华. 基于扰动观测器增强的同轴 HAUV 自适应反步跟踪控制[J]. 航空学报, 0, (): 0-0.
[10]	梁帅高广乐曲晓雷李雅君. 基于误差累积因子的高超声速飞行器渐进控制[J]. 航空学报, 0, (): 0-0.
[11]	马骥陈向勇温广辉程龙邱建龙. 随机切换拓扑下无人机集群预设时间跟踪控制[J]. 航空学报, 0, (): 0-0.
[12]	韩译辉, 胡俊, 于勇, 于剑桥. 十字型柔性控制面气动控制力风洞试验验证[J]. 航空学报, 2024, 45(13): 129280-129280.
[13]	黄山, 吕永玺, 朱奇, 李珂澄, 史静平. 仅使用距离量测的多无人机协同环绕未知目标[J]. 航空学报, 2024, 45(13): 329535-329535.
[14]	何昊王鹏. 高速变形飞行器制导控制一体化设计方法研究[J]. 航空学报, 0, (): 0-0.
[15]	王宝来, 高显忠, 谢涛, 侯中喜. 基于强化学习与种群博弈的近距空战决策[J]. 航空学报, 2024, 45(12): 329446-329446.

基于残差混合监督网络的无人机目标阴影检测

Shadow detection of UAV target based on residual mixed supervision network

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 34

相关文章 15

编辑推荐

Metrics

本文评价