基于自适应协同注意力机制的航拍密集小目标检测算法

doi:10.7527/S1000-6893.2022.27944

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于自适应协同注意力机制的航拍密集小目标检测算法

李子豪, 王正平, 贺云涛()

北京理工大学宇航学院，北京　100081

收稿日期:2022-08-24 修回日期:2022-09-05 接受日期:2022-10-20 出版日期:2023-07-15 发布日期:2022-10-26
通讯作者: 贺云涛 E-mail:bithyt@bit.edu.cn
基金资助:
航空科学基金(2020Z005072001)

Aerial-photography dense small target detection algorithm based on adaptive cooperative attention mechanism

Zihao LI, Zhengping WANG, Yuntao HE()

School of Astronautics，Beijing Institute of Technology，Beijing 100081，China

Received:2022-08-24 Revised:2022-09-05 Accepted:2022-10-20 Online:2023-07-15 Published:2022-10-26
Contact: Yuntao HE E-mail:bithyt@bit.edu.cn
Supported by:
Aeronautical Science Foundation of China(2020Z005072001)

摘要/Abstract

摘要：

针对无人机航拍目标检测任务中广视野下目标数量多和小目标占比高的问题，提出一种基于自适应协同注意力机制的无人机航拍目标检测算法ACAM-YOLO，在主干网络与特征增强网络部分嵌入自适应协同注意力机制模块（ACAM），ACAM对输入特征沿通道方向切分后分别挖掘空间注意力特征和通道注意力特征，自适应加权成协同注意力权重，增加对输入特征空间和通道的有效信息利用率；为提升检测精度的同时保障检测网络轻量化，对主干网络、特征增强网络和检测头优化设计，使用轻量化主干网络大幅减少参数量同时使用高分辨率特征增强网络保留更多语义特征与细节特征，通过大尺度检测头中数量多且密集的锚框提升定位精度。使用公开数据集VisDrone2019验证，与基线网络6.0版本的YOLOv5目标检测算法相比，ACAM-YOLO的mAP_0.5提升11.0%，mAP_0.95提升7.8%，同时模型参数减少65.5%，实验证明ACAM-YOLO目标检测网络针对航拍密集小目标检测具有很强的实用性。

关键词: 计算机视觉, 小目标检测, YOLOv5, 注意力机制, 无人机

Abstract:

In response to the problem of a large number of targets and a high proportion of small targets in a wide field of view in drone aerial target detection tasks， a drone aerial target detection algorithm ACAM-YOLO based on adaptive collaborative attention mechanism is proposed. In the backbone network and feature enhancement network parts， the Adaptive Co-Attention Module （ACAM） is embedded， which first segments the input features along the channel direction， Then， spatial attention features and channel attention features are separately mined， and finally adaptively weighted into collaborative attention weights to increase the effective utilization of spatial and channel information for input features； To improve detection accuracy while ensuring lightweight of the detection network， the backbone network， feature enhancement network， and detection head are optimized. Firstly， a lightweight backbone network is used to significantly reduce the number of parameters， and then a high-resolution feature enhancement network is used to retain more semantic features and detailed features. Finally， the positioning accuracy is improved by using a large and dense number of anchor boxes in the large-scale detection head. Verified using the public dataset VisDrone2019， compared with the baseline network version 6.0 YOLOv5 object detection algorithm， ACAM-YOLO’s mAP_0.5 increased by 11.0%， mAP_0.95 increased by 7.8%， and model parameters decreased by 65.5%. The experiment proved that the ACAM-YOLO object detection network has strong practicality for detecting dense small targets in aerial photography.

Key words: computer vision, small object detection, YOLOv5, attention mechanisms, drone

中图分类号:

V279

李子豪, 王正平, 贺云涛. 基于自适应协同注意力机制的航拍密集小目标检测算法[J]. 航空学报, 2023, 44(13): 327944-327944.

Zihao LI, Zhengping WANG, Yuntao HE. Aerial-photography dense small target detection algorithm based on adaptive cooperative attention mechanism[J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(13): 327944-327944.

图/表 11

图 1

图 2

图 3

图 4

表 1

图5

表 2

表 3

表 4

图 6

图 7

参考文献 22

1	江波，屈若锟，李彦冬，等. 基于深度学习的无人机航拍目标检测研究综述［J］. 航空学报， 2021， 42（4）：524519
	JIANG B， QU R K， LI Y D， et al. Object detection in UAV imagery based on deep learning： Review［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（4）：524519 （in Chinese）.
2	REN S， HE K， GIRSHICK，et al. Faster R-CNN： Towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
3	LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot MultiBox detector［C］∥European Conference on Computer Vision. Cham： Springer， 2016： 21-37.
4	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（2）： 318-327.
5	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection［C］∥2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2016： 779-788.
6	REDMON J， FARHADI A. YOLO9000： Better， faster， stronger［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 6517-6525.
7	REDMON J， FARHADI A. YOLOv3： An incremental improvement［DB/OL］. ArXiv preprint： 1804.02767， 2018.
8	BOCHKOVSKIY A， WANG C Y， LIAO H. YOLOv4： Optimal speed and accuracy of object detection［DB/OL］. arXiv preprint： 2004.10934， 2020
9	张艳，张明路，吕晓玲，等. 深度学习小目标检测算法研究综述［J］. 计算机工程与应用， 2022， 58（15）： 1-17.
	ZHANG Y， ZHANG M L， LYU X L， et al. Review of research on small target detection based on deep learning［J］. Computer Engineering and Applications， 2022， 58（15）： 1-17 （in Chinese）.
10	李科岑，王晓强，林浩，等. 深度学习中的单阶段小目标检测方法综述［J］. 计算机科学与探索， 2022， 16（1）：41-58.
	LI K C， WANG X Q， LIN H， et al. Survey of one-stage small object detection methods in deep learning［J］. Journal of Frontiers of Computer Science & Technology， 2022， 16（1）：41-58 （in Chinese）.
11	曹家乐，李亚利，孙汉卿，等. 基于深度学习的视觉目标检测技术综述［J］. 中国图象图形学报， 2022， 27（6）：1697-1722.
	CAO J L， LI Y L， SUN H Q， et al. A survey on deep learning based visual object detection［J］. Journal of Image and Graphics， 2022， 27（6）：1697-1722 （in Chinese）.
12	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 7132-7141.
13	WOO S， PARK J， LEE J Y， et al. CBAM： Convolutional block attention module［DB/OL］. ArXiv preprint： 1807.06521， 2018.
14	HOU Q B， ZHOU D Q， FENG J S. Coordinate attention for efficient mobile network design［C］∥ 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 13708-13717.
15	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］∥ 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 936-944.
16	LIU S， QI L， QIN H F， et al. Path aggregation network for instance segmentation［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 8759-8768.
17	TAN M X， PANG R M， LE Q V. EfficientDet： Scalable and efficient object detection［C］∥ 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 10778-10787.
18	CHEN Y K， ZHANG P Z， LI Z， et al. Stitcher： Feedback-driven data provider for object detection［DB/OL］. arXiv preprint： 2004.12432， 2020.
19	YUN S， HAN D， CHUN S， et al. CutMix： Regularization strategy to train strong classifiers with localizable features［C］∥ 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2020： 6022-6031.
20	KISANTAL M， WOJNA Z， MURAWSKI J， et al. Augmentation for small object detection［C］∥ 9th International Conference on Advances in Computing and Information Technology （ACITY 2019）， 2019.
21	DU D W， ZHU P F， WEN L Y， et al. VisDrone-DET2019： The vision meets drone object detection in image challenge results［C］∥ 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. Piscataway： IEEE Press， 2020： 213-226.
22	冒国韬，邓天民，于楠晶. 基于多尺度分割注意力的无人机航拍图像目标检测算法［J］.航空学报， 2023， 44（5）： 326738.
	MAO G T， DENG T M， YU N J. Object detection in UAV images based on multi-scale split attetion［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（5）： 326738 （in Chinese）.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

模型	Parameter/M	GFLOPs/G	检测头特征尺寸
YOLOv5	46.2	108.1	20/40/80
YOLOv5_rec	17.4	128.7	40/80/160

检测网络	特征输入	耦合特征提取	Parameter/M	FLOPs/G
YOLOv5l_rec			15.9	128.7
YOLOv5l_rec+ACAM	沿通道方向切分	深度可分离卷积	15.9	130.8
YOLOv5l_rec+ACAM	沿通道方向切分	正常卷积	16.0	144.7
YOLOv5l_rec+ACAM	全通道输入	深度可分离卷积	16.9	141.3
YOLOv5l_rec+ACAM	全通道输入	正常卷积	25.2	254.3

方法	mAP_0.5/%	mAP_0.95/%	Parameter/M	FLOPs/G
Baseline（YOLOv5）	38.5	21.8	46.1	108.1
YOLOv5+ACAM	39.1	22.2	46.2	110.9
YOLOv5_rec	48.5	29.2	15.9	128.7
YOLOv5_rec+SE	48.1	28.8	16.0	128.8
YOLOv5_rec+CBAM	48.0	28.7	16.0	128.9
YOLOv5_rec+CA	48.0	28.6	16.0	129.0
YOLOv5_rec+ACAM （ACAM-YOLO）	49.5	29.6	15.9	130.8

方法	主干网络	AP_0.5/%										平均mAP_0.5/%
方法	主干网络	Pedestrian	Person	Bicycle	Car	Van	Trunk	Tri	Awn-tri	Bus	Motor	平均mAP_0.5/%
Faster R-CNN	ResNet-50	21.4	15.6	6.7	51.7	29.5	19.0	13.1	7.7	31.4	20.7	21.7
Faster R-CNN	ResNet-101	20.9	14.8	7.3	51.0	29.7	19.5	14.0	8.8	30.5	21.2	21.8
RetinaNet	ResNet-50	13.0	7.9	1.4	45.5	19.9	11.5	6.3	4.2	17.8	11.8	13.9
YOLOv4	CSPDarknet	24.8	12.6	8.6	64.3	22.4	22.7	11.4	7.6	44.3	21.7	30.7
CDNet	ResNeXt-101	35.6	19.2	13.8	55.8	42.1	38.2	33.0	25.4	49.5	29.3	34.2
YOLOv3-LITE	Darknet-53	34.5	23.4	7.9	70.8	31.3	21.9	15.3	6.2	40.9	32.7	28.5
MSC-CenterNet	Hourglass-104	33.7	15.2	12.1	55.2	40.5	34.1	29.2	21.6	42.2	27.5	31.1
DMNet	ResNet-50	28.5	20.4	15.9	56.8	37.9	30.1	22.6	14.0	41.7	29.2	30.3
HR-Cascade++	HRNet-W40	32.6	17.3	11.1	54.7	42.4	35.3	32.7	24.1	46.5	28.2	32.5
DBAI-Net	ResNeXt-101	36.7	12.8	14.7	47.4	38.0	41.4	23.4	16.9	31.9	16.6	28.0
Cascade R-CNN	ResNet-50	22.2	14.8	7.6	54.6	31.5	21.6	14.8	8.6	34.9	21.4	23.2
CenterNet	Hourglass-104	22.6	20.6	14.6	59.7	24.0	21.3	20.1	17.4	37.9	23.7	26.2
MSA-YOLO	CSPDarknet	33.4	17.3	11.2	76.8	41.5	41.4	14.8	18.4	60.9	31.0	34.7
ACAM-YOLO	CSPDarknet	57.6	45.9	25.7	88.5	51.9	45.5	38.1	19.9	69.1	56.3	49.5

[1]	王海峰, 刘坤澎, 江泓鑫, 杜晨曦. 螺旋桨多设计点气动优化方法和变桨距角策略[J]. 航空学报, 2024, 45(9): 528831-528831.
[2]	赵春晖, 刘安萌, 吕洋, 潘泉. 无人机韧性自主定位技术综述[J]. 航空学报, 2024, 45(8): 28839-028839.
[3]	张薇, 何若俊. 面向物联网数据收集的无人机自主路径规划[J]. 航空学报, 2024, 45(8): 329054-329054-1.
[4]	赵靖, 宋丹. 无人机GNSS/IMU组合导航系统完好性监测方法[J]. 航空学报, 2024, 45(7): 328943-328943.
[5]	王传云, 苏阳, 王琳霖, 王田, 王静静, 高骞. 面向反制无人机集群的多目标连续鲁棒跟踪算法[J]. 航空学报, 2024, 45(7): 329017-329017.
[6]	尹洪玉, 吴宇, 梁天骄. 固定翼无人机巡逻覆盖协同路径规划方法[J]. 航空学报, 2024, 45(6): 328944-328944.
[7]	罗旭东, 吴一全, 陈金林. 无人机航拍影像目标检测与语义分割的深度学习方法研究进展[J]. 航空学报, 2024, 45(6): 28822-028822.
[8]	安朝, 霍贵玺, 孟杨, 谢长川, 杨超. 翼尖铰接组合式无人机气动建模方法及布局参数影响[J]. 航空学报, 2024, 45(6): 629587-629587.
[9]	李广佳, 王红波, 张凯, 仪志胜. 临近空间太阳能无人机增升减阻技术综述[J]. 航空学报, 2024, 45(5): 529644-529644.
[10]	蔡云鹏, 周大鹏, 丁江川. 具有防撞安全约束的无人机集群智能协同控制[J]. 航空学报, 2024, 45(5): 529683-529683.
[11]	王祝, 张梦通, 张振鹏, 徐广通. 基于多指标动态优先级的无人机协同路径规划[J]. 航空学报, 2024, 45(4): 328816-328816.
[12]	郑高杰, 何小明, 李东坡, 谭慧俊, 汪昆, 吴祯龙, 王德鹏. 尾部推进无人机双90°偏折进气道/蜗壳耦合流动特性[J]. 航空学报, 2024, 45(4): 128782-128782.
[13]	张清瑞, 刘赟韵, 孙慧杰, 朱波. 固定翼无人机紧密编队的鲁棒协同跟踪控制[J]. 航空学报, 2024, 45(1): 629233-629233.
[14]	甘纪强, 王小平. 基于虚拟样本生成的铺丝表面缺陷检测[J]. 航空学报, 2024, 45(1): 428624-428624.
[15]	郭洪振, 陈谋, 戴永东, 王茂飞. 分布式自适应事件触发四旋翼无人机编队控制[J]. 航空学报, 2023, 44(S2): 729917-729917.

基于自适应协同注意力机制的航拍密集小目标检测算法

Aerial-photography dense small target detection algorithm based on adaptive cooperative attention mechanism

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 22

相关文章 15

编辑推荐

Metrics

本文评价