基于分块复合注意力的无人机小目标检测算法

doi:10.7527/S1000-6893.2023.29148

弱小目标检测与跟踪专栏

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于分块复合注意力的无人机小目标检测算法

于傲泽¹^,², 魏维伟¹^,²(), 王平¹^,², 张金强¹^,³, 柯文雄¹^,⁴

^1.上海无线电设备研究所，上海 201109
^2.上海目标识别与环境感知工程技术研究中心，上海 201109
^3.中国航天科技集团有限公司交通感知雷达技术研发中心，上海 201109
^4.上海黎明瑞达电子科技有限公司，上海 201109

收稿日期:2023-06-12 修回日期:2023-06-27 接受日期:2023-08-09 出版日期:2024-07-25 发布日期:2023-09-13
通讯作者: 魏维伟 E-mail:wwwei802@163.com
基金资助:
中国航天科技集团有限公司民用重大自主研发项目(YF-ZZYF-M-2022-019)

Small target detection algorithm for UAV based on patch⁃wise co⁃attention

Aoze YU¹^,², Weiwei WEI¹^,²(), Ping WANG¹^,², Jinqiang ZHANG¹^,³, Wenxiong KE¹^,⁴

^1.Shanghai Radio Equipment Research Institute，Shanghai 201109，China
^2.Shanghai Engineering Research Center of Target Identification and Environment Perception，Shanghai 201109，China
^3.Traffic Perception Radar Technology Research & Development Center of CASC，Shanghai 201109，China
^4.Shanghai Limradar Electronic Technology Co. ，Ltd. ，Shanghai 201109，China

Received:2023-06-12 Revised:2023-06-27 Accepted:2023-08-09 Online:2024-07-25 Published:2023-09-13
Contact: Weiwei WEI E-mail:wwwei802@163.com
Supported by:
China Aerospace Science and Technology Group Co., Ltd. Major Civil Independent R&D Project(YF-ZZYF-M-2022-019)

摘要/Abstract

摘要：

针对常规目标检测算法在无人机小目标检测任务上特征提取难度大而导致检测精度低的问题，提出一种基于分块复合注意力的无人机小目标检测算法。首先，提出一种即插即用的分块复合注意力模块（PWCA），输入特征在空间维度切分成局部特征块，在局部特征块上提取通道注意力权重，加强通道信息在局部空间特征上的区分度，提高网络细粒度以适应小目标检测场景，然后融合输入特征与聚焦后的特征，并进一步挖掘空间注意力，关注网络中有效特征信息。其次，抛弃基线网络基于跨步卷积的下采样形式，结合PWCA提出自适应交错下采样模块（AID），根据重要程度自适应地分配下采样后的特征权重，减少下采样过程中小目标的信息损失。最后，对主干及特征融合网络进行轻量化设计，减少计算量并新增针对小目标的大尺寸特征图检测分支，优化了特征图的流动方向，丰富不同尺度特征图的语义信息，增强特征的表达能力，并保证实时性。针对性地采用Soft-NMS算法解决目标遮挡重叠时的漏检问题，提升检测效果。在公开数据集VisDrone2019上验证改进算法的有效性，与YOLOv5s目标检测算法相比，改进后算法最终的mAP_0.5比YOLOv5s基线算法提升了11.81%，mAP_0.5：0.95提升了10.91%，模型参数减少59%，网络在无人机小目标检测任务上能够较好地兼顾检测精度与推理速度，具有较大的实用意义。

关键词: 无人机, YOLOv5, 小目标检测, 注意力机制, 下采样, 特征融合

Abstract:

To address the problems of insufficient feature extraction and low detection accuracy of conventional target detection algorithms in the small target detection task of UAVs， a small target detection algorithm for UAVs is proposed based on Patch-Wise Co-Attention （PWCA）. Firstly， a plug-and-play PWCA is proposed. The input feature is divided into patches in spatial dimension， and channel attention weights are extracted from the patches to enhance the discrimination of channel information in terms of local spatial features， so as to improve the network granularity in small target detection scenarios. Then， the input feature and the focused feature are fused， spatial attention is further extracted， and the effective feature information in the network is paid attention to. Secondly， the step-wise convolutional downsampling in the baseline grid is abandoned， and Adaptive Interlace Downsampling （AID） is proposed in combination with PWCA to distribute the weight of the features after downsampling according to the significance of features， and to reduce the information loss of small targets during the downsampling process. Finally， the lightweight design of the backbone and feature fusion network is carried out to reduce the calculation cost. A large-scale feature map detection branch for small targets is added to optimize the flow direction of feature maps. The semantic information of feature maps in different scales is enriched and the feature expression capability is enhanced to ensure real-time performance. The Soft-NMS algorithm is used to solve the problem of missing detection when the target is occluded and overlapped to improve the performance. The effectiveness of the proposed algorithm is evaluated on the VisDrone2019 dataset. The final mAP_0.5 of the improved algorithm is 11.81% better than that of the YOLOv5s baseline algorithm， and the mAP_0.5：0.95 is 10.91% better， while the model parameters are reduced by 59%. The proposed network can effectively balance detection accuracy and inference speed for UAV small target detection tasks， demonstrating its practical significance.

Key words: UAV, YOLOv5, small target detection, attention mechanism, downsampling, feature fusion

中图分类号:

V279⁺.2

于傲泽, 魏维伟, 王平, 张金强, 柯文雄. 基于分块复合注意力的无人机小目标检测算法[J]. 航空学报, 2024, 45(14): 629148-629148.

Aoze YU, Weiwei WEI, Ping WANG, Jinqiang ZHANG, Wenxiong KE. Small target detection algorithm for UAV based on patch⁃wise co⁃attention[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(14): 629148-629148.

图/表 11

图 1

图 2

表 1

图 3

图 4

表 2

图 5

图 6

表 3

表 4

图 7

参考文献 24

1	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
2	DUAN K W， BAI S， XIE L X， et al. CenterNet： Keypoint triplets for object detection［C］∥ 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2019： 6568-6577.
3	CARION N， MASSA F， SYNNAEVE G， et al. End-to-end object detection with transformers［C］∥ 16th European Conference on Computer Vision. Cham： Springer， 2020： 213-229.
4	REDMON J， DIVVALA S， GIRSHICK R， et al. You Only Look Once： Unified， real-time object detection［C］∥ 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2016： 779-788.
5	江波，屈若锟，李彦冬，等. 基于深度学习的无人机航拍目标检测研究综述［J］. 航空学报， 2021， 42（4）： 524519.
	JIANG B， QU R K， LI Y D， et al. Object detection in UAV imagery based on deep learning： Review［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（4）： 524519 （in Chinese）.
6	YIN G X， YU M， WANG M， et al. Research on highway vehicle detection based on faster R-CNN and domain adaptation［J］. Applied Intelligence， 2022， 52（4）： 3483-3498.
7	REDMON J， FARHADI A. YOLO9000： Better， faster， stronger［C］∥ 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 6517-6525.
8	REDMON J， FARHADI A. YOLOv3： An incremental improvement［DB/OL］. arXiv preprint：1804.02767， 2018.
9	BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： Optimal speed and accuracy of object detection［DB/OL］. arXiv preprint：2004.10934， 2020.
10	李红光，于若男，丁文锐. 基于深度学习的小目标检测研究进展［J］. 航空学报， 2021， 42（7）： 024691.
	LI H G， YU R N， DING W R. Research development of small object traching based on deep learning［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（7）： 024691 （in Chinese）.
11	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［C］∥ 2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 2999-3007.
12	GAI R L， CHEN N， YUAN H. A detection algorithm for cherry fruits based on the improved YOLO-v4 model［J］. Neural Computing and Applications， 2023， 35（19）： 13895-13906.
13	JIANG Z C， ZHAO L Q， LI S Y， et al. Real-time object detection method based on improved YOLOv4-tiny［DB/OL］. arXiv preprint： 2011.04244，2020.
14	NEUBECK A， VAN GOOL L. Efficient non-maximum suppression［C］∥ 18th International Conference on Pattern Recognition （ICPR'06）. Piscataway： IEEE Press， 2006： 850-855.
15	BODLA N， SINGH B， CHELLAPPA R， et al. Soft-NMS—improving object detection with one line of code［C］∥ 2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 5562-5570.
16	WOO S， PARK J， LEE J Y， et al. CBAM： Convolutional block attention module［C］∥ European Conference on Computer Vision. Cham： Springer， 2018： 3-19.
17	SARVAMANGALA D R， KULKARNI R V. Convolutional neural networks in medical image understanding： A survey［J］. Evolutionary Intelligence， 2022， 15（1）： 1-22.
18	SUNKARA R， LUO T. No more strided convolutions or pooling： A new CNN building block for low-resolution images and small objects［C］∥ Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Cham： Springer， 2023： 443-459.
19	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］∥ 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 936-944.
20	ZHU L L， GENG X， LI Z， et al. Improving YOLOv5 with attention mechanism for detecting boulders from planetary images［J］. Remote Sensing， 2021， 13（18）： 3776.
21	DU D W， ZHU P F， WEN L Y， et al. VisDrone-DET2019： The vision meets drone object detection in image challenge results［C］∥ 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. Piscataway： IEEE Press，2019： 213-226.
22	ZHU X Z， SU W J， LU L W， et al. Deformable DETR： Deformable transformers for end-to-end object detection［DB/OL］. arXiv preprint： 2010.04159， 2020.
23	CAI Z W， VASCONCELOS N. Cascade R-CNN： Delving into high quality object detection［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 6154-6162.
24	LI Z M， PENG C， YU G， et al. Light-head R-CNN： In defense of two-stage object detector［DB/OL］. arXiv preprint：1711.07264，2017.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

局部块尺寸	mAP_0.5	mAP_0.5：0.95	GFLOPs
无	38.78	21.59	15.0
10×10	39.12	21.94	15.1
20×20	39.82	22.21	15.2
40×40	39.29	21.83	15.6

网络结构	mAP_0.5	mAP_0.5：0.95	GFLOPs
YOLOv5s	33.65	17.40	15.8
XYOLOv5s	38.59	21.66	19.1
XSYOLOv5s	38.78	21.59	15.0

实验编号	方法	Precision	Recall	mAP_0.5	mAP_0.5：0.95	Params/M	GFLOPs
A	YOLOv5s	44.54	34.00	33.65	17.40	7.037	15.8
B	XSYOLOv5s	48.05	38.55	38.78	21.59	2.271	15.0
C	XSYOLOv5s+CBAM	48.71	38.90	39.38	21.90	2.283	15.0
D	XSYOLOv5s+SE	48.68	38.32	38.89	21.63	2.275	15.0
E	XSYOLOv5s+CA	48.62	38.65	39.27	21.78	2.286	15.0
F	XSYOLOv5s+PWCA	48.97	39.70	39.82	22.21	2.283	15.2
G	XSYOLOv5s+AID（CBAM）	47.89	39.21	39.07	21.86	2.197	18.4
H	XSYOLOv5s+AID（PWCA）	48.82	40.36	40.58	22.91	2.879	18.9
I	H+Soft-NMS	50.23	38.92	45.46	28.31	2.879	18.9

方法	mAP_0.5	mAP_0.5：0.95	FPS
Faster R⁃CNN^［1］	22.5	15.1	15
Deformable⁃DETR^［22］	32.1	18.0	11
RetinaNet^［10］	30.1	18.5
FPN^［19］	32.2	16.5
Cascade⁃RCNN^［23］	31.9	16.1
Light⁃RCNN^［24］	32.8	16.5
YOLOv3	20.4	12.2	31
YOLOv4	32.5	16.6	35
YOLOv5s	33.7	17.4	192
Ours	40.6	22.9	181

[1]	王海峰, 刘坤澎, 江泓鑫, 杜晨曦. 螺旋桨多设计点气动优化方法和变桨距角策略[J]. 航空学报, 2024, 45(9): 528831-528831.
[2]	赵春晖, 刘安萌, 吕洋, 潘泉. 无人机韧性自主定位技术综述[J]. 航空学报, 2024, 45(8): 28839-028839.
[3]	张薇, 何若俊. 面向物联网数据收集的无人机自主路径规划[J]. 航空学报, 2024, 45(8): 329054-329054-1.
[4]	赵靖, 宋丹. 无人机GNSS/IMU组合导航系统完好性监测方法[J]. 航空学报, 2024, 45(7): 328943-328943.
[5]	王传云, 苏阳, 王琳霖, 王田, 王静静, 高骞. 面向反制无人机集群的多目标连续鲁棒跟踪算法[J]. 航空学报, 2024, 45(7): 329017-329017.
[6]	尹洪玉, 吴宇, 梁天骄. 固定翼无人机巡逻覆盖协同路径规划方法[J]. 航空学报, 2024, 45(6): 328944-328944.
[7]	罗旭东, 吴一全, 陈金林. 无人机航拍影像目标检测与语义分割的深度学习方法研究进展[J]. 航空学报, 2024, 45(6): 28822-028822.
[8]	安朝, 霍贵玺, 孟杨, 谢长川, 杨超. 翼尖铰接组合式无人机气动建模方法及布局参数影响[J]. 航空学报, 2024, 45(6): 629587-629587.
[9]	李广佳, 王红波, 张凯, 仪志胜. 临近空间太阳能无人机增升减阻技术综述[J]. 航空学报, 2024, 45(5): 529644-529644.
[10]	蔡云鹏, 周大鹏, 丁江川. 具有防撞安全约束的无人机集群智能协同控制[J]. 航空学报, 2024, 45(5): 529683-529683.
[11]	王祝, 张梦通, 张振鹏, 徐广通. 基于多指标动态优先级的无人机协同路径规划[J]. 航空学报, 2024, 45(4): 328816-328816.
[12]	郑高杰, 何小明, 李东坡, 谭慧俊, 汪昆, 吴祯龙, 王德鹏. 尾部推进无人机双90°偏折进气道/蜗壳耦合流动特性[J]. 航空学报, 2024, 45(4): 128782-128782.
[13]	褚昭晨, 宋韬, 金忍, 林德福. 基于视觉图像的空对空多无人机目标跟踪[J]. 航空学报, 2024, 45(14): 629379-629379.
[14]	王潇, 刘贞报. 基于多层多向Transformer的红外弱小目标检测[J]. 航空学报, 2024, 45(14): 629490-629490.
[15]	刘延芳, 佘佳宇, 袁秋帆, 周芮, 齐乃明. 无人机遥感图像实时小目标检测方法[J]. 航空学报, 2024, 45(14): 630119-630119.

基于分块复合注意力的无人机小目标检测算法

Small target detection algorithm for UAV based on patch⁃wise co⁃attention

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 24

相关文章 15

编辑推荐

Metrics

本文评价