基于自适应协同注意力机制的航拍密集小目标检测算法

doi:10.7527/S1000-6893.2022.27944

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于自适应协同注意力机制的航拍密集小目标检测算法

李子豪, 王正平, 贺云涛()

北京理工大学宇航学院，北京　100081

收稿日期:2022-08-24 修回日期:2022-09-05 接受日期:2022-10-20 出版日期:2022-10-28 发布日期:2022-10-26
通讯作者: 贺云涛 E-mail:bithyt@bit.edu.cn
基金资助:
航空科学基金(2020Z005072001)

Aerial-photography dense small target detection algorithm based on adaptive cooperative attention mechanism

Zihao LI, Zhengping WANG, Yuntao HE()

School of Astronautics，Beijing Institute of Technology，Beijing 100081，China

Received:2022-08-24 Revised:2022-09-05 Accepted:2022-10-20 Online:2022-10-28 Published:2022-10-26
Contact: Yuntao HE E-mail:bithyt@bit.edu.cn
Supported by:
Aeronautical Science Foundation of China(2020Z005072001)

摘要/Abstract

摘要：

针对无人机航拍目标检测任务中广视野下目标数量多和小目标占比高的问题，提出一种基于自适应协同注意力机制的无人机航拍目标检测算法ACAM-YOLO，在主干网络与特征增强网络部分嵌入自适应协同注意力机制模块（ACAM），ACAM对输入特征沿通道方向切分后分别挖掘空间注意力特征和通道注意力特征，自适应加权成协同注意力权重，增加对输入特征空间和通道的有效信息利用率；为提升检测精度的同时保障检测网络轻量化，对主干网络、特征增强网络和检测头优化设计，使用轻量化主干网络大幅减少参数量同时使用高分辨率特征增强网络保留更多语义特征与细节特征，通过大尺度检测头中数量多且密集的锚框提升定位精度。使用公开数据集VisDrone2019验证，与基线网络6.0版本的YOLOv5目标检测算法相比，ACAM-YOLO的mAP_0.5提升11.0%，mAP_0.95提升7.8%，同时模型参数减少65.5%，实验证明ACAM-YOLO目标检测网络针对航拍密集小目标检测具有很强的实用性。

关键词: 计算机视觉, 小目标检测, YOLOv5, 注意力机制, 无人机

Abstract:

In response to the problem of a large number of targets and a high proportion of small targets in a wide field of view in drone aerial target detection tasks， a drone aerial target detection algorithm ACAM-YOLO based on adaptive collaborative attention mechanism is proposed. In the backbone network and feature enhancement network parts， the Adaptive Co-Attention Module （ACAM） is embedded， which first segments the input features along the channel direction， Then， spatial attention features and channel attention features are separately mined， and finally adaptively weighted into collaborative attention weights to increase the effective utilization of spatial and channel information for input features； To improve detection accuracy while ensuring lightweight of the detection network， the backbone network， feature enhancement network， and detection head are optimized. Firstly， a lightweight backbone network is used to significantly reduce the number of parameters， and then a high-resolution feature enhancement network is used to retain more semantic features and detailed features. Finally， the positioning accuracy is improved by using a large and dense number of anchor boxes in the large-scale detection head. Verified using the public dataset VisDrone2019， compared with the baseline network version 6.0 YOLOv5 object detection algorithm， ACAM-YOLO’s mAP_0.5 increased by 11.0%， mAP_0.95 increased by 7.8%， and model parameters decreased by 65.5%. The experiment proved that the ACAM-YOLO object detection network has strong practicality for detecting dense small targets in aerial photography.

Key words: computer vision, small object detection, YOLOv5, attention mechanisms, drone

中图分类号:

V279

李子豪, 王正平, 贺云涛. 基于自适应协同注意力机制的航拍密集小目标检测算法[J]. 航空学报, 2023, 44(13): 327944-327944.

Zihao LI, Zhengping WANG, Yuntao HE. Aerial-photography dense small target detection algorithm based on adaptive cooperative attention mechanism[J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(13): 327944-327944.

图/表 11

图 1

图 2

图 3

图 4

表 1

图5

表 2

表 3

表 4

图 6

图 7

参考文献 22

1	江波，屈若锟，李彦冬，等. 基于深度学习的无人机航拍目标检测研究综述［J］. 航空学报， 2021， 42（4）：524519
	JIANG B， QU R K， LI Y D， et al. Object detection in UAV imagery based on deep learning： Review［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（4）：524519 （in Chinese）.
2	REN S， HE K， GIRSHICK，et al. Faster R-CNN： Towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
3	LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot MultiBox detector［C］∥European Conference on Computer Vision. Cham： Springer， 2016： 21-37.
4	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（2）： 318-327.
5	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection［C］∥2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2016： 779-788.
6	REDMON J， FARHADI A. YOLO9000： Better， faster， stronger［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 6517-6525.
7	REDMON J， FARHADI A. YOLOv3： An incremental improvement［DB/OL］. ArXiv preprint： 1804.02767， 2018.
8	BOCHKOVSKIY A， WANG C Y， LIAO H. YOLOv4： Optimal speed and accuracy of object detection［DB/OL］. arXiv preprint： 2004.10934， 2020
9	张艳，张明路，吕晓玲，等. 深度学习小目标检测算法研究综述［J］. 计算机工程与应用， 2022， 58（15）： 1-17.
	ZHANG Y， ZHANG M L， LYU X L， et al. Review of research on small target detection based on deep learning［J］. Computer Engineering and Applications， 2022， 58（15）： 1-17 （in Chinese）.
10	李科岑，王晓强，林浩，等. 深度学习中的单阶段小目标检测方法综述［J］. 计算机科学与探索， 2022， 16（1）：41-58.
	LI K C， WANG X Q， LIN H， et al. Survey of one-stage small object detection methods in deep learning［J］. Journal of Frontiers of Computer Science & Technology， 2022， 16（1）：41-58 （in Chinese）.
11	曹家乐，李亚利，孙汉卿，等. 基于深度学习的视觉目标检测技术综述［J］. 中国图象图形学报， 2022， 27（6）：1697-1722.
	CAO J L， LI Y L， SUN H Q， et al. A survey on deep learning based visual object detection［J］. Journal of Image and Graphics， 2022， 27（6）：1697-1722 （in Chinese）.
12	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 7132-7141.
13	WOO S， PARK J， LEE J Y， et al. CBAM： Convolutional block attention module［DB/OL］. ArXiv preprint： 1807.06521， 2018.
14	HOU Q B， ZHOU D Q， FENG J S. Coordinate attention for efficient mobile network design［C］∥ 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 13708-13717.
15	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］∥ 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 936-944.
16	LIU S， QI L， QIN H F， et al. Path aggregation network for instance segmentation［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 8759-8768.
17	TAN M X， PANG R M， LE Q V. EfficientDet： Scalable and efficient object detection［C］∥ 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 10778-10787.
18	CHEN Y K， ZHANG P Z， LI Z， et al. Stitcher： Feedback-driven data provider for object detection［DB/OL］. arXiv preprint： 2004.12432， 2020.
19	YUN S， HAN D， CHUN S， et al. CutMix： Regularization strategy to train strong classifiers with localizable features［C］∥ 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2020： 6022-6031.
20	KISANTAL M， WOJNA Z， MURAWSKI J， et al. Augmentation for small object detection［C］∥ 9th International Conference on Advances in Computing and Information Technology （ACITY 2019）， 2019.
21	DU D W， ZHU P F， WEN L Y， et al. VisDrone-DET2019： The vision meets drone object detection in image challenge results［C］∥ 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. Piscataway： IEEE Press， 2020： 213-226.
22	冒国韬，邓天民，于楠晶. 基于多尺度分割注意力的无人机航拍图像目标检测算法［J］.航空学报， 2023， 44（5）： 326738.
	MAO G T， DENG T M， YU N J. Object detection in UAV images based on multi-scale split attetion［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（5）： 326738 （in Chinese）.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

模型	Parameter/M	GFLOPs/G	检测头特征尺寸
YOLOv5	46.2	108.1	20/40/80
YOLOv5_rec	17.4	128.7	40/80/160

检测网络	特征输入	耦合特征提取	Parameter/M	FLOPs/G
YOLOv5l_rec			15.9	128.7
YOLOv5l_rec+ACAM	沿通道方向切分	深度可分离卷积	15.9	130.8
YOLOv5l_rec+ACAM	沿通道方向切分	正常卷积	16.0	144.7
YOLOv5l_rec+ACAM	全通道输入	深度可分离卷积	16.9	141.3
YOLOv5l_rec+ACAM	全通道输入	正常卷积	25.2	254.3

方法	mAP_0.5/%	mAP_0.95/%	Parameter/M	FLOPs/G
Baseline（YOLOv5）	38.5	21.8	46.1	108.1
YOLOv5+ACAM	39.1	22.2	46.2	110.9
YOLOv5_rec	48.5	29.2	15.9	128.7
YOLOv5_rec+SE	48.1	28.8	16.0	128.8
YOLOv5_rec+CBAM	48.0	28.7	16.0	128.9
YOLOv5_rec+CA	48.0	28.6	16.0	129.0
YOLOv5_rec+ACAM （ACAM-YOLO）	49.5	29.6	15.9	130.8

方法	主干网络	AP_0.5/%										平均mAP_0.5/%
方法	主干网络	Pedestrian	Person	Bicycle	Car	Van	Trunk	Tri	Awn-tri	Bus	Motor	平均mAP_0.5/%
Faster R-CNN	ResNet-50	21.4	15.6	6.7	51.7	29.5	19.0	13.1	7.7	31.4	20.7	21.7
Faster R-CNN	ResNet-101	20.9	14.8	7.3	51.0	29.7	19.5	14.0	8.8	30.5	21.2	21.8
RetinaNet	ResNet-50	13.0	7.9	1.4	45.5	19.9	11.5	6.3	4.2	17.8	11.8	13.9
YOLOv4	CSPDarknet	24.8	12.6	8.6	64.3	22.4	22.7	11.4	7.6	44.3	21.7	30.7
CDNet	ResNeXt-101	35.6	19.2	13.8	55.8	42.1	38.2	33.0	25.4	49.5	29.3	34.2
YOLOv3-LITE	Darknet-53	34.5	23.4	7.9	70.8	31.3	21.9	15.3	6.2	40.9	32.7	28.5
MSC-CenterNet	Hourglass-104	33.7	15.2	12.1	55.2	40.5	34.1	29.2	21.6	42.2	27.5	31.1
DMNet	ResNet-50	28.5	20.4	15.9	56.8	37.9	30.1	22.6	14.0	41.7	29.2	30.3
HR-Cascade++	HRNet-W40	32.6	17.3	11.1	54.7	42.4	35.3	32.7	24.1	46.5	28.2	32.5
DBAI-Net	ResNeXt-101	36.7	12.8	14.7	47.4	38.0	41.4	23.4	16.9	31.9	16.6	28.0
Cascade R-CNN	ResNet-50	22.2	14.8	7.6	54.6	31.5	21.6	14.8	8.6	34.9	21.4	23.2
CenterNet	Hourglass-104	22.6	20.6	14.6	59.7	24.0	21.3	20.1	17.4	37.9	23.7	26.2
MSA-YOLO	CSPDarknet	33.4	17.3	11.2	76.8	41.5	41.4	14.8	18.4	60.9	31.0	34.7
ACAM-YOLO	CSPDarknet	57.6	45.9	25.7	88.5	51.9	45.5	38.1	19.9	69.1	56.3	49.5

[1]	张安, 杨咪, 毕文豪, 张百川, 王雨农. 基于多策略GWO算法的不确定环境下异构多无人机任务分配[J]. 航空学报, 2023, 44(8): 327115-327115.
[2]	马亚杰, 王娟, 姜斌, 龚建业. 一种无人机⁃无人车编队系统容错控制方法[J]. 航空学报, 2023, 44(8): 327216-327216.
[3]	符小卫, 徐哲, 朱金冬, 王楠. 基于PER-MATD3的多无人机攻防对抗机动决策[J]. 航空学报, 2023, 44(7): 327083-327083.
[4]	肖和业, 杨建峰, 白俊强, 张旭东, 吴利荣. 面向任务需求的模块化无人机配置方法[J]. 航空学报, 2023, 44(7): 327100-327100.
[5]	奉志强, 谢志军, 包正伟, 陈科伟. 基于改进YOLOv5的无人机实时密集小目标检测算法[J]. 航空学报, 2023, 44(7): 327106-327106.
[6]	冒国韬, 邓天民, 于楠晶. 基于多尺度分割注意力的无人机航拍图像目标检测算法[J]. 航空学报, 2023, 44(5): 326738-326738.
[7]	贾宝惠, 姜番, 王玉鑫, 王杜. 基于民机维修文本数据的故障诊断方法[J]. 航空学报, 2023, 44(5): 326598-326598.
[8]	许勇, 颜鸿涛, 贾涛, 马跃, 邓泽华, 刘多能. 固定翼集群无人机空中模拟对接技术[J]. 航空学报, 2023, 44(5): 326539-326539.
[9]	王平, 付辉, 徐贵力. 基于旋转搜索的相机位姿估计和对应点匹配[J]. 航空学报, 2023, 44(2): 326695-326695.
[10]	张良阳, 李占科, 韩海洋. 微型无人机栖息设计技术综述[J]. 航空学报, 2023, 44(12): 27573-027573.
[11]	于全友, 徐止政, 段纳, 徐觅蜜, 程义. 基于改进ACO的带续航约束无人机全覆盖作业路径规划[J]. 航空学报, 2023, 44(12): 327856-327856.
[12]	文超, 董文瀚, 解武杰, 蔡鸣, 刘日. 基于回访机制的无人机集群分布式协同区域搜索方法[J]. 航空学报, 2023, 44(11): 327561-327561.
[13]	苏子康, 陈海通, 李春涛, 邢卓琳, 王宏伦. 非匹配包线下无人机空基回收拖曳系统协调运动规划[J]. 航空学报, 2023, 44(10): 327377-327377.
[14]	邵嘉琪, 张晓辉, 席涵宇, 刘子荣. 太阳能无人机线性自抗扰多环路能源控制[J]. 航空学报, 2023, 44(10): 327812-327812.
[15]	王强, 吴乐天, 王勇, 王欢, 杨万扣. 基于关键点检测的红外弱小目标检测[J]. 航空学报, 2023, 44(10): 328173-328173.

基于自适应协同注意力机制的航拍密集小目标检测算法

Aerial-photography dense small target detection algorithm based on adaptive cooperative attention mechanism

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 22

相关文章 15

编辑推荐

Metrics

本文评价