基于多尺度分割注意力的无人机航拍图像目标检测算法

doi:10.7527/S1000-6893.2021.26738

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于多尺度分割注意力的无人机航拍图像目标检测算法

冒国韬¹, 邓天民¹^,²(), 于楠晶³

^1.重庆交通大学交通运输学院，重庆 400074
^2.重庆大学自动化学院，重庆 400044
^3.重庆交通大学航运与船舶工程学院，重庆 400074

收稿日期:2021-12-03 修回日期:2021-12-20 接受日期:2021-12-31 出版日期:2023-03-15 发布日期:2022-01-11
通讯作者: 邓天民 E-mail:dtianmin@cqjtu.edu.cn
基金资助:
国家重点研发计划(SQ2020YFF0418521);重庆市技术创新与应用发展专项(cstc2020jscx-dxwtBX0019);川渝联合实施重点研发项目(cstc2020jscx-cylhX0007)

Object detection in UAV images based on multi-scale split attention

Guotao MAO¹, Tianmin DENG¹^,²(), Nanjing YU³

^1.School of Traffic and Transportation，Chongqing Jiaotong University，Chongqing 400074，China
^2.School of Automation，Chongqing University，Chongqing 　400044，China
^3.School of Shipping and Naval Architecture，Chongqing Jiaotong University，Chongqing 400074，China

Received:2021-12-03 Revised:2021-12-20 Accepted:2021-12-31 Online:2023-03-15 Published:2022-01-11
Contact: Tianmin DENG E-mail:dtianmin@cqjtu.edu.cn
Supported by:
National Key Research & Development Program of China(SQ2020YFF0418521);Chongqing Science and Technology Development Foundation(cstc2020jscx-dxwtBX0019);Joint Key Research & Development Program of Sichuan and Chongqing(cstc2020jscx-cylhX0007)

摘要/Abstract

摘要：

随着无人机（UAV）遥感技术的发展，无人机航拍图像目标检测逐渐成为无人机应用领域的一项核心技术，在交通规划、军事侦查及环境监测等领域具有重要应用价值。针对无人机图像中小目标实例多、背景复杂及特征提取困难的问题，提出一种基于多尺度分割注意力的无人机航拍图像目标检测算法MSA-YOLO。首先，利用嵌入在骨干网络瓶颈层的多尺度分割注意力单元建立多尺度特征间的远程依赖关系，从而强化关键特征的表达能力并抑制背景噪声干扰；其次，设计了一种自适应加权特征融合方法，该方法动态的优化各输出特征层权重，实现浅层特征与深层特征的深度融合；最后，在VisDrone公开数据集上的实验结果表明：该方法取得了34.7%的平均均值精度（mAP），相比于基线算法YOLOv5提高了2.8%，在复杂背景下仍能显著提升无人机图像目标检测性能。

关键词: 无人机图像, 计算机视觉, 目标检测, 注意力机制, 自适应加权特征融合

Abstract:

With the development of Unmanned Aerial Vehicle （UAV） remote sensing technology， UAV aerial image object detection has become a core technology in the field of UAV applications such as traffic planning， military reconnaissance and environmental monitoring. To overcome the problem of difficulty in feature extraction due to many instances of small objects and complex background in UAV images， this paper proposes an object detection algorithm for UAV aerial images based on multi-scale split attention， i.e.， MAS-YOLO. Firstly， the multi-scale split attention unit embedded in the bottleneck layer of the backbone net-work is used to establish the long-range dependency relationship between different scales of attention， so as to enhance the expression ability of key features and suppress the interference of background noise. Secondly， an adaptive weighted feature fusion method is designed， which dynamically optimizes the weight of each output feature layer and realize the deep fusion of shallow and deep features. Finally， experimental results on the VisDrone public data set show that the proposed method achieves 34.7% mean Average Precision （mAP）， which is 2.8% higher than that of the baseline algorithm YOLOv5， and can also significantly improve the performance of UAV image object detection in complex background.

Key words: unmanned aerial vehicle image, computer vision, object detection, attention mechanism, adaptive weighted feature fusion

中图分类号:

V279

冒国韬, 邓天民, 于楠晶. 基于多尺度分割注意力的无人机航拍图像目标检测算法[J]. 航空学报, 2023, 44(5): 326738-326738.

Guotao MAO, Tianmin DENG, Nanjing YU. Object detection in UAV images based on multi-scale split attention[J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2023, 44(5): 326738-326738.

图/表 8

图1

图2

图3

图4

表1

表2

图5

图6

参考文献 24

1	江波，屈若锟，李彦冬，等. 基于深度学习的无人机航拍目标检测研究综述［J］. 航空学报， 2021， 42（4）： 524519.
	JIANG B， QU R K， LI Y D， et al. Object detection in UAV imagery based on deep learning： Review［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（4）： 524519 （in Chinese）.
2	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
3	HE K M， GKIOXARI G， DOLLÁR P， et al. Mask R-CNN［C］∥2017 IEEE International Conference on Computer Vision. Piscataway： IEEE Press， 2017： 2980-2988.
4	CAI Z W， VASCONCELOS N. Cascade R-CNN： Delving into high quality object detection［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 6154-6162.
5	LIU Y J， YANG F B， HU P. Small-object detection in UAV-captured images via multi-branch parallel feature pyramid networks［J］. IEEE Access， 2020， 8： 145740-145750.
6	LIN Q Z， DING Y， XU H， et al. ECascade-RCNN： Enhanced cascade RCNN for multi-scale object detection in UAV images［C］∥2021 7th International Conference on Automation， Robotics and Applications （ICARA）. Piscataway： IEEE Press， 2021： 268-272.
7	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection［C］∥2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2016： 779-788.
8	LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot MultiBox detector［C］∥Proceedings of the 14th European Conference on Computer Vision （ECCV）. Berlin： Springer， 2016： 21-37.
9	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（2）： 318-327.
10	ZHANG Z Y， LIU Y P， LIU T C， et al. DAGN： A real-time UAV remote sensing image vehicle detection framework［J］. IEEE Geoscience and Remote Sensing Letters， 2020， 17（11）： 1884-1888.
11	WANG X R， LI W H， GUO W， et al. SPB-YOLO： An efficient real-time detector for unmanned aerial vehicle images［C］∥2021 International Conference on Artificial Intelligence in Information and Communication （ICAIIC）. Piscataway： IEEE Press， 2021： 99-104.
12	LIU S， QI L， QIN H F， et al. Path aggregation network for instance segmentation［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 8759-8768.
13	裴伟，许晏铭，朱永英，等. 改进的SSD航拍目标检测方法［J］. 软件学报， 2019， 30（3）： 738-758.
	PEI W， XU Y M， ZHU Y Y， et al. The target detection method of aerial photography images with improved SSD［J］. Journal of Software， 2019， 30（3）： 738-758 （in Chinese）.
14	赵辉，李志伟，张天琪. 基于注意力机制的单发多框检测器算法［J］. 电子与信息学报， 2021， 43（7）： 2096-2104.
	ZHAO H， LI Z W， ZHANG T Q. Attention based single shot multibox detector［J］. Journal of Electronics ＆ Information Technology， 2021， 43（7）： 2096-2104 （in Chinese）.
15	WOO S， PARK J， LEE J Y， et al. CBAM： Convolutional block attention module［C］∥Proceedings of the 15th European Conference on Computer Vision （ECCV）. Berlin： Springer， 2018： 1352-1368.
16	王美华，吴振鑫，周祖光. 基于注意力改进CBAM的农作物病虫害细粒度识别研究［J］. 农业机械学报， 2021， 52（4）： 239-247.
	WANG M H， WU Z X， ZHOU Z G. Fine-grained identification research of crop pests and diseases based on improved CBAM via attention［J］. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（4）： 239-247 （in Chinese）.
17	LIU S T， HUANG D， WANG Y H. Learning spatial fusion for single-shot object detection［DB/OL］. arXiv preprint： 1911.09516， 2019.
18	ZHU P F， WEN L Y， DU D W， et al. Vision meets drones： Past， present and future［DB/OL］. arXiv preprint： 2001.06303， 2020.
19	YU W P， YANG T， CHEN C. Towards resolving the challenge of long-tail distribution in UAV images for object detection［C］∥2021 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE Press， 2021： 3257-3266.
20	ALBABA B M， OZER S. S_yNet： An ensemble network for object detection in UAV images［C］∥2020 25th International Conference on Pattern Recognition （ICPR）. Piscataway： IEEE Press， 2020： 10227-10234.
21	ALI S， SIDDIQUE A， ATEŞ H F， et al. Improved YOLOv4 for aerial object detection［C］∥2021 29th Signal Processing and Communications Applications Conference （SIU）. Piscataway： IEEE Press， 2021： 1-4.
22	CAO Y R， HE Z J， WANG L J， et al. VisDrone-DET2021： The vision meets drone object detection challenge results［C］∥2021 IEEE/CVF International Conference on Computer Vision Workshops （ICCVW）. Piscataway： IEEE Press， 2021： 2847-2854.
23	DU D W， ZHU P F， WEN L Y， et al. VisDrone-DET2019： The vision meets drone object detection in image challenge results［C］∥2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. Piscataway： IEEE Press， 2019： 213-226.
24	ZHAO H P， ZHOU Y， ZHANG L， et al. Mixed YOLOv3-LITE： A lightweight real-time object detection method［J］. Sensors （Basel， Switzerland）， 2020， 20（7）： 1861.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

方法	mAP	模型规模/MB	参数量/B	FLOP/G
基线算法	31.9	89	46.68	114.4
基线算法+MSAU	34.1	104	54.21	140.9
基线算法+AWF	32.8	94	48.89	119.8
MSA-YOLO	34.7	108	56.28	146.1

方法	骨干网络	AP/%										mAP/%
方法	骨干网络	行人	人	自行车	汽车	火车	卡车	三轮车	遮阳蓬三轮车	公共汽车	摩托车	mAP/%
Faster R-CNN^［19］	ResNet-50	21.4	15.6	6.7	51.7	29.5	19.0	13.1	7.7	31.4	20.7	21.7
Faster R-CNN^［19］	ResNet-101	20.9	14.8	7.3	51.0	29.7	19.5	14.0	8.8	30.5	21.2	21.8
Cascade R-CNN^［19］	ResNet-50	22.2	14.8	7.6	54.6	31.5	21.6	14.8	8.6	34.9	21.4	23.2
RetinaNet^［19］	ResNet-50	13.0	7.9	1.4	45.5	19.9	11.5	6.3	4.2	17.8	11.8	13.9
CenterNet^［20］	Hourglass-104	22.6	20.6	14.6	59.7	24.0	21.3	20.1	17.4	37.9	23.7	26.2
YOLOv4^［21］	CSPDarknet	24.8	12.6	8.6	64.3	22.4	22.7	11.4	7.6	44.3	21.7	30.7
DMNet^［22］	ResNet-50	28.5	20.4	15.9	56.8	37.9	30.1	22.6	14.0	47.1	29.2	30.3
DBAI-Det^［23］	ResNeXt-101	36.7	12.8	14.7	47.4	38.0	41.4	23.4	16.9	31.9	16.6	28.0
CDNet^［22］	ResNeXt-101	35.6	19.2	13.8	55.8	42.1	38.2	33.0	25.4	49.5	29.3	34.2
HR-Cascade++^［22］	HRNet-W40	32.6	17.3	11.1	54.7	42.4	35.3	32.7	24.1	46.5	28.2	32.5
MSC-CenterNet^［22］	Hourglass-104	33.7	15.2	12.1	55.2	40.5	34.1	29.2	21.6	42.2	27.5	31.1
YOLOv3-LITE^［24］	Darknet-53	34.5	23.4	7.9	70.8	31.3	21.9	15.3	6.2	40.9	32.7	28.5
MSA-YOLO	CSPDarknet	33.4	17.3	11.2	76.8	41.5	41.4	14.8	18.4	60.9	31.0	34.7

[1]	王传云, 苏阳, 王琳霖, 王田, 王静静, 高骞. 面向反制无人机集群的多目标连续鲁棒跟踪算法[J]. 航空学报, 2024, 45(7): 329017-329017.
[2]	罗旭东, 吴一全, 陈金林. 无人机航拍影像目标检测与语义分割的深度学习方法研究进展[J]. 航空学报, 2024, 45(6): 28822-028822.
[3]	甘纪强, 王小平. 基于虚拟样本生成的铺丝表面缺陷检测[J]. 航空学报, 2024, 45(1): 428624-428624.
[4]	陈立群, 邹旭, 张磊, 朱颖盼, 王港, 陈金勇. 基于国产商用器件的星载智能目标检测技术[J]. 航空学报, 2023, 44(S2): 728860-728860.
[5]	奉志强, 谢志军, 包正伟, 陈科伟. 基于改进YOLOv5的无人机实时密集小目标检测算法[J]. 航空学报, 2023, 44(7): 327106-327106.
[6]	贾宝惠, 姜番, 王玉鑫, 王杜. 基于民机维修文本数据的故障诊断方法[J]. 航空学报, 2023, 44(5): 326598-326598.
[7]	姚俞成, 李旭, 徐启敏, 孔栋. 基于特征增强和校准的航拍车辆实例分割方法[J]. 航空学报, 2023, 44(24): 328397-328397.
[8]	李晓航, 周建江. 基于自适应记忆长度的多尺度模态融合网络[J]. 航空学报, 2023, 44(22): 628977-628977.
[9]	张毅, 张焱, 张宇, 张勇, 刘荻. 基于多级特征增强融合的红外飞机目标检测方法[J]. 航空学报, 2023, 44(22): 629220-629220.
[10]	王平, 付辉, 徐贵力. 基于旋转搜索的相机位姿估计和对应点匹配[J]. 航空学报, 2023, 44(2): 326695-326695.
[11]	苑玉彬, 吴一全, 赵朗月, 陈金林, 赵其昌. 基于深度学习的无人机航拍视频多目标检测与跟踪研究进展[J]. 航空学报, 2023, 44(18): 28334-028334.
[12]	宋玉存, 葛泉波, 朱军龙, 陆振宇. 基于梯度差自适应学习率优化的改进YOLOX目标检测算法[J]. 航空学报, 2023, 44(14): 327951-327951.
[13]	李子豪, 王正平, 贺云涛. 基于自适应协同注意力机制的航拍密集小目标检测算法[J]. 航空学报, 2023, 44(13): 327944-327944.
[14]	王强, 吴乐天, 王勇, 王欢, 杨万扣. 基于关键点检测的红外弱小目标检测[J]. 航空学报, 2023, 44(10): 328173-328173.
[15]	钟梦帆, 裴继红. 局部特征点对称约束的图像拼接增强方法[J]. 航空学报, 2022, 43(S1): 726948-726948.

基于多尺度分割注意力的无人机航拍图像目标检测算法

Object detection in UAV images based on multi-scale split attention

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 24

相关文章 15

编辑推荐

Metrics

本文评价