基于多尺度分割注意力的无人机航拍图像目标检测算法
收稿日期: 2021-12-03
修回日期: 2021-12-20
录用日期: 2021-12-31
网络出版日期: 2022-01-11
基金资助
国家重点研发计划(SQ2020YFF0418521);重庆市技术创新与应用发展专项(cstc2020jscx-dxwtBX0019);川渝联合实施重点研发项目(cstc2020jscx-cylhX0007)
Object detection in UAV images based on multi-scale split attention
Received date: 2021-12-03
Revised date: 2021-12-20
Accepted date: 2021-12-31
Online published: 2022-01-11
Supported by
National Key Research & Development Program of China(SQ2020YFF0418521);Chongqing Science and Technology Development Foundation(cstc2020jscx-dxwtBX0019);Joint Key Research & Development Program of Sichuan and Chongqing(cstc2020jscx-cylhX0007)
随着无人机（UAV）遥感技术的发展，无人机航拍图像目标检测逐渐成为无人机应用领域的一项核心技术，在交通规划、军事侦查及环境监测等领域具有重要应用价值。针对无人机图像中小目标实例多、背景复杂及特征提取困难的问题，提出一种基于多尺度分割注意力的无人机航拍图像目标检测算法MSA-YOLO。首先，利用嵌入在骨干网络瓶颈层的多尺度分割注意力单元建立多尺度特征间的远程依赖关系，从而强化关键特征的表达能力并抑制背景噪声干扰；其次，设计了一种自适应加权特征融合方法，该方法动态的优化各输出特征层权重，实现浅层特征与深层特征的深度融合；最后，在VisDrone公开数据集上的实验结果表明：该方法取得了34.7%的平均均值精度（mAP），相比于基线算法YOLOv5提高了2.8%，在复杂背景下仍能显著提升无人机图像目标检测性能。
冒国韬 , 邓天民 , 于楠晶 . 基于多尺度分割注意力的无人机航拍图像目标检测算法[J]. 航空学报, 2023 , 44(5) : 326738 -326738 . DOI: 10.7527/S1000-6893.2021.26738
With the development of Unmanned Aerial Vehicle （UAV） remote sensing technology， UAV aerial image object detection has become a core technology in the field of UAV applications such as traffic planning， military reconnaissance and environmental monitoring. To overcome the problem of difficulty in feature extraction due to many instances of small objects and complex background in UAV images， this paper proposes an object detection algorithm for UAV aerial images based on multi-scale split attention， i.e.， MAS-YOLO. Firstly， the multi-scale split attention unit embedded in the bottleneck layer of the backbone net-work is used to establish the long-range dependency relationship between different scales of attention， so as to enhance the expression ability of key features and suppress the interference of background noise. Secondly， an adaptive weighted feature fusion method is designed， which dynamically optimizes the weight of each output feature layer and realize the deep fusion of shallow and deep features. Finally， experimental results on the VisDrone public data set show that the proposed method achieves 34.7% mean Average Precision （mAP）， which is 2.8% higher than that of the baseline algorithm YOLOv5， and can also significantly improve the performance of UAV image object detection in complex background.
| 1 | 江波， 屈若锟， 李彦冬， 等. 基于深度学习的无人机航拍目标检测研究综述［J］. 航空学报， 2021， 42（4）： 524519. |
| JIANG B， QU R K， LI Y D， et al. Object detection in UAV imagery based on deep learning： Review［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（4）： 524519 （in Chinese）. | |
| 2 | REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149. |
| 3 | HE K M， GKIOXARI G， DOLLáR P， et al. Mask R-CNN［C］∥2017 IEEE International Conference on Computer Vision. Piscataway： IEEE Press， 2017： 2980-2988. |
| 4 | CAI Z W， VASCONCELOS N. Cascade R-CNN： Delving into high quality object detection［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 6154-6162. |
| 5 | LIU Y J， YANG F B， HU P. Small-object detection in UAV-captured images via multi-branch parallel feature pyramid networks［J］. IEEE Access， 2020， 8： 145740-145750. |
| 6 | LIN Q Z， DING Y， XU H， et al. ECascade-RCNN： Enhanced cascade RCNN for multi-scale object detection in UAV images［C］∥2021 7th International Conference on Automation， Robotics and Applications （ICARA）. Piscataway： IEEE Press， 2021： 268-272. |
| 7 | REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection［C］∥2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2016： 779-788. |
| 8 | LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot MultiBox detector［C］∥Proceedings of the 14th European Conference on Computer Vision （ECCV）. Berlin： Springer， 2016： 21-37. |
| 9 | LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（2）： 318-327. |
| 10 | ZHANG Z Y， LIU Y P， LIU T C， et al. DAGN： A real-time UAV remote sensing image vehicle detection framework［J］. IEEE Geoscience and Remote Sensing Letters， 2020， 17（11）： 1884-1888. |
| 11 | WANG X R， LI W H， GUO W， et al. SPB-YOLO： An efficient real-time detector for unmanned aerial vehicle images［C］∥2021 International Conference on Artificial Intelligence in Information and Communication （ICAIIC）. Piscataway： IEEE Press， 2021： 99-104. |
| 12 | LIU S， QI L， QIN H F， et al. Path aggregation network for instance segmentation［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 8759-8768. |
| 13 | 裴伟， 许晏铭， 朱永英， 等. 改进的SSD航拍目标检测方法［J］. 软件学报， 2019， 30（3）： 738-758. |
| PEI W， XU Y M， ZHU Y Y， et al. The target detection method of aerial photography images with improved SSD［J］. Journal of Software， 2019， 30（3）： 738-758 （in Chinese）. | |
| 14 | 赵辉， 李志伟， 张天琪. 基于注意力机制的单发多框检测器算法［J］. 电子与信息学报， 2021， 43（7）： 2096-2104. |
| ZHAO H， LI Z W， ZHANG T Q. Attention based single shot multibox detector［J］. Journal of Electronics ＆ Information Technology， 2021， 43（7）： 2096-2104 （in Chinese）. | |
| 15 | WOO S， PARK J， LEE J Y， et al. CBAM： Convolutional block attention module［C］∥Proceedings of the 15th European Conference on Computer Vision （ECCV）. Berlin： Springer， 2018： 1352-1368. |
| 16 | 王美华， 吴振鑫， 周祖光. 基于注意力改进CBAM的农作物病虫害细粒度识别研究［J］. 农业机械学报， 2021， 52（4）： 239-247. |
| WANG M H， WU Z X， ZHOU Z G. Fine-grained identification research of crop pests and diseases based on improved CBAM via attention［J］. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（4）： 239-247 （in Chinese）. | |
| 17 | LIU S T， HUANG D， WANG Y H. Learning spatial fusion for single-shot object detection［DB/OL］. arXiv preprint： 1911.09516， 2019. |
| 18 | ZHU P F， WEN L Y， DU D W， et al. Vision meets drones： Past， present and future［DB/OL］. arXiv preprint： 2001.06303， 2020. |
| 19 | YU W P， YANG T， CHEN C. Towards resolving the challenge of long-tail distribution in UAV images for object detection［C］∥2021 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE Press， 2021： 3257-3266. |
| 20 | ALBABA B M， OZER S. SyNet： An ensemble network for object detection in UAV images［C］∥2020 25th International Conference on Pattern Recognition （ICPR）. Piscataway： IEEE Press， 2020： 10227-10234. |
| 21 | ALI S， SIDDIQUE A， ATE? H F， et al. Improved YOLOv4 for aerial object detection［C］∥2021 29th Signal Processing and Communications Applications Conference （SIU）. Piscataway： IEEE Press， 2021： 1-4. |
| 22 | CAO Y R， HE Z J， WANG L J， et al. VisDrone-DET2021： The vision meets drone object detection challenge results［C］∥2021 IEEE/CVF International Conference on Computer Vision Workshops （ICCVW）. Piscataway： IEEE Press， 2021： 2847-2854. |
| 23 | DU D W， ZHU P F， WEN L Y， et al. VisDrone-DET2019： The vision meets drone object detection in image challenge results［C］∥2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. Piscataway： IEEE Press， 2019： 213-226. |
| 24 | ZHAO H P， ZHOU Y， ZHANG L， et al. Mixed YOLOv3-LITE： A lightweight real-time object detection method［J］. Sensors （Basel， Switzerland）， 2020， 20（7）： 1861. |
/
| 〈 |
|
〉 |
CJA