无人机航拍影像目标检测与语义分割的深度学习方法研究进展

doi:10.7527/S1000-6893.2023.28822

Abstract

Abstract:

Unmanned Aerial Vehicles （UAV） have been widely used due to their advantages of small size， light weight， and simple operation. The combination of the deep learning method and UAV system can help to quickly and accurately detect the desired target on UAV aerial images with high definition and a wide field of view. Related topics have become one of the current research hotspots. This paper reviews the research progress of deep learning methods for object detection and semantic segmentation in UAV aerial images in the past ten years. First， the characteristics and wide range of application scenarios of UAVs and their aerial images are summarized， and the development process of target detection and semantic segmentation methods for UAV aerial images is briefly described. Then， the object detection and semantic segmentation methods of UAV aerial images based on deep learning are classified according to different network models， and their improvement strategies， application scenarios， contributions， and limitations are summarized. Subsequently， the data sets of aerial images taken by UAVs in recent years are collected and sorted out， and the evaluation indicators of commonly used convolutional neural network models are summarized. Finally， the existing problems in this field are pointed out， and prospects for future research trends are presented.

Key words: Unmanned Aerial Vehicle (UAV), deep learning, object detection, semantic segmentation, data set, performance evaluation indicator

CLC Number:

V279

Xudong LUO, Yiquan WU, Jinlin CHEN. Research progress on deep learning methods for object detection and semantic segmentation in UAV aerial images[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(6): 28822-028822.

Figures/Tables 20

Fig.1

Table 1

Table 2

Table 3

Table 4

Table 5

Table 6

Table 7

Table 8

Table 9

Table 10

Table 11

Improved YOLOv5 object detection method for UAV aerial images in different scenarios

文献	改进策略	应用场景	贡献	局限性
［103］	增强特征融合、添加注意力模块、修改损失函数	无人机航拍影像中小目标的检测	提高了对不同尺度目标的检测精度，提高了网络的定位精度和收敛速度	使用的损失函数计算复杂
［104］	增加主干网络输出	无人机航拍影像中小目标的检测	提高了模型针对小目标的检测性能	模型颈部结构复杂
［105］	优化主干网络、添加注意力模块、增强特征融合	无人机航拍影像中小目标的检测	有利于获取更加丰富的小目标位置信息和深层的语义信息	模型的预处理过程复杂、耗时，模型主干结构复杂
［106］	添加注意力模块、增强特征融合	无人机航拍影像中小目标的检测	实现了浅层位置信息与深层抽象信息的高效融合	模型颈部结构复杂
［107］	添加注意力模块、优化主干网络、优化颈部网络	一种轻量级无人机航拍影像目标检测方法	提高了模型的特征表达能力，扩大了模型的感受野	添加的注意力模块和池化层增加了模型的复杂度
［108］	数据集预处理、增加主干网络输出、调整锚框参数、添加注意力模块、简化网络结构	无人机航拍影像中风力机叶片缺陷的检测	提高了模型针对小目标的检测性能	使用的K-Means算法容易使锚框参数限于局部最优解
［109］	更换主干网络	无人机航拍影像中风力机桨叶的检测与定位	减少参数数量，提升检测速度	模型的检测精度仍需提升
［7］	更换主干网络、优化颈部网络	无人机航拍影像中路面修复区域的检测	减少参数数量，提升检测速度	模型的检测精度仍需提升
［110］	优化主干网络、增强特征融合	无人机航拍影像中枯死树木的检测	减少模型参数，使其便于在智能终端上进行部署	使用的深度可分离卷积会影响模型的检测精度
［111］	增强特征融合、添加注意力模块、增加检测头数量	无人机航拍影像中玉米雄穗的检测	增强了模型多尺度特征融合的能力	模型检测头结构复杂
［112］	添加注意力模块、优化检测头、数据集预处理	无人机航拍影像中麦穗的检测与计数	有利于抑制复杂背景的干扰，提高模型的泛化能力和检测精度	模型的主干结构复杂，预处理过程复杂耗时

Table 11

Table 12

Table 13

Table 14

Table 15

Table 16

Table 17

Table 18

Table 19

References 144

1	江波，屈若锟，李彦冬，等. 基于深度学习的无人机航拍目标检测研究综述［J］. 航空学报， 2021， 42（4）： 524519.
	JIANG B， QU R K， LI Y D， et al. Object detection in UAV imagery based on deep learning： Review［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（4）： 524519 （in Chinese）.
2	刘传洋，吴一全. 基于深度学习的输电线路视觉检测方法研究进展［J］. 中国电机工程学报， 2023， 43（19）： 7423-7446.
	LIU C Y， WU Y Q. Research progress of vision detection methods based on deep learning for transmission lines［J］. Proceedings of the CSEE， 2023， 43（19）： 7423-7446 （in Chinese）.
3	OSCO L P， DOS SANTOS DE ARRUDA M， GONÇALVES D N， et al. A CNN approach to simultaneously count plants and detect plantation-rows from UAV imagery［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2021， 174： 1-17.
4	VEERANAMPALAYAM SIVAKUMAR A N， LI J T， SCOTT S， et al. Comparison of object detection and patch-based classification deep learning models on mid- to late-season weed detection in UAV imagery［J］. Remote Sensing， 2020， 12（13）： 2136.
5	WU J T， YANG G J， YANG H， et al. Extracting apple tree crown information from remote imagery using deep learning［J］. Computers and Electronics in Agriculture， 2020， 174： 105504.
6	朱子健，刘琪，陈红芬，等. 基于并行融合网络的航拍红外车辆小目标检测方法［J］. 光子学报， 2022， 51（2）： 190-202.
	ZHU Z J， LIU Q， CHEN H F， et al. Infrared small vehicle detection based on parallel fusion network［J］. Acta Photonica Sinica， 2022， 51（2）： 190-202 （in Chinese）.
7	LIU Y C， SHI G， LI Y X， et al. M-YOLO based detection and recognition of highway surface oil filling with unmanned aerial vehicle［C］∥2022 7th International Conference on Intelligent Computing and Signal Processing （ICSP）. Piscataway： IEEE Press， 2022： 1884-1887.
8	DING W， ZHANG L. Building detection in remote sensing image based on improved YOLOv5［C］∥2021 17th International Conference on Computational Intelligence and Security（CIS）. Piscataway： IEEE Press， 2021： 133-136.
9	ZHANG R， WEN C B. SOD-YOLO： A small target defect detection algorithm for wind turbine blades based on improved YOLOv5［J］. Advanced Theory and Simulations， 2022， 5（7）： 2100631
10	GUO J， XIE J H， YUAN J Z， et al. Fault identification of transmission line shockproof hammer based on improved YOLOV4［C］∥2021 International Conference on Intelligent Computing， Automation and Applications （ICAA）. Piscataway： IEEE Press， 2021： 826-833.
11	LIU C Y， WU Y Q， LIU J J， et al. MTI-YOLO： A light-weight and real-time deep neural network for insulator detection in complex aerial images［J］. Energies， 2021， 14（5）： 1426.
12	SAMBOLEK S， IVASIC-KOS M. Automatic person detection in search and rescue operations using deep CNN detectors［J］. IEEE Access， 2021， 9： 37905-37922.
13	BOŽIĆ-ŠTULIĆ D， MARUŠIĆ Ž， GOTOVAC S. Deep learning approach in aerial imagery for supporting land search and rescue missions［J］. International Journal of Computer Vision， 2019， 127（9）： 1256-1278.
14	索文凯，胡文刚，伍锡山，等. 基于光学视觉辅助无人机自主降落研究综述［J］. 激光杂志， 2019， 40（4）： 9-13.
	SUO W K， HU W G， WU X S， et al. Research on autonomous landing of UAV based on optical vision［J］. Laser Journal， 2019， 40（4）： 9-13 （in Chinese）.
15	张洲宇，曹云峰，范彦铭. 低空小型无人机空域冲突视觉感知技术研究进展［J］. 航空学报， 2022， 43（8）： 025645.
	ZHANG Z Y， CAO Y F， FAN Y M. Research progress of vision based aerospace conflict sensing technologies for small unmanned aerial vehicle in low altitude［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（8）： 025645 （in Chinese）.
16	LOWE D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.
17	DALAL N， TRIGGS B. Histograms of oriented gradients for human detection［C］∥2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR’05）. Piscataway： IEEE Press， 2005： 886-893.
18	FELZENSZWALB P F， GIRSHICK R B， MCALLES⁃ TER D， et al. Object detection with discriminatively trained part-based models［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（9）： 1627-1645.
19	VIOLA P， JONES M J. Robust real-time face detection［J］. International Journal of Computer Vision， 2004， 57（2）： 137-154.
20	PAPAGEORGIOU C， POGGIO T. A trainable system for object detection［J］. International Journal of Computer Vision， 2000， 38（1）： 15-33.
21	MARDIA K V， HAINSWORTH T J. A spatial thresholding method for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1988， 10（6）： 919-927.
22	ADAMS R， BISCHOF L. Seeded region growing［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1994， 16（6）： 641-647.
23	GIANNAKEAS N， KARVELIS P S， EXARCHOS T P， et al. Segmentation of microarray images using pixel classification—comparison with clustering-based methods［J］. Computers in Biology and Medicine， 2013， 43（6）： 705-716.
24	GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation［C］∥2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2014： 580-587.
25	LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation［C］∥Proceedings of the IEEE conference on computer vision and pattern recognition. Piscataway： IEEE Press， 2015： 3431-3440.
26	LUO X D， WU Y Q， ZHAO L Y. YOLOD： A target detection method for UAV aerial imagery［J］. Remote Sensing， 2022， 14（14）： 3240.
27	LUO X D， WU Y Q， WANG F Y. Target detection method of UAV aerial imagery based on improved YOLOv5［J］. Remote Sensing， 2022， 14（19）： 5063.
28	MITTAL P， SINGH R， SHARMA A. Deep learning-based object detection in low-altitude UAV datasets： A survey［J］. Image and Vision Computing， 2020， 104： 104046.
29	DIEZ Y， KENTSCH S， FUKUDA M， et al. Deep learning in forestry using UAV-acquired RGB data： A practical review［J］. Remote Sensing， 2021， 13（14）： 2837.
30	ZHU P F， WEN L Y， DU D W， et al. Detection and tracking meet drones challenge［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（11）： 7380-7399.
31	程擎，范满，李彦冬，等. 无人机航拍图像语义分割研究综述［J］. 计算机工程与应用， 2021， 57（19）： 57-69.
	CHENG Q， FAN M， LI Y D， et al. Review on semantic segmentation of UAV aerial images［J］. Computer Engineering and Applications， 2021， 57（19）： 57-69 （in Chinese）.
32	李子豪，王正平，贺云涛. 基于自适应协同注意力机制的航拍密集小目标检测算法［J］. 航空学报， 2023， 44（13）： 244-254.
	LI Z H， WANG Z P， HE Y T. Aerial-photography dense small target detection algorithm based on adaptive cooperative attention mechanism［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（13）： 244-254 （in Chinese）.
33	王殿伟，胡里晨，房杰，等. 基于改进Double-Head RCNN的无人机航拍图像小目标检测算法［J/OL］. 北京航空航天大学学报. （2023-01-10）［2023-03-13］. .
	WANG D W， HU L C， FANG J， et al. Small object detection algorithm based on improved Double-Head RCNN for UAV aerial images ［J/OL］. Journal of Beijing University of Aeronautics and Astronautics. （2023-01-10）［2023-03-13］. （in Chinese）.
34	谢学立，李传祥，杨小冈，等. 基于动态感受野的航拍图像目标检测算法［J］. 光学学报， 2020， 40（4）： 107-119.
	XIE X L， LI C X， YANG X G， et al. Dynamic receptive field-based object detection in aerial imaging［J］. Acta Optica Sinica， 2020， 40（4）： 107-119 （in Chinese）.
35	张智，易华挥，郑锦. 聚焦小目标的航拍图像目标检测算法［J］. 电子学报， 2023， 51（4）： 944-955.
	ZHANG Z， YI H H， ZHENG J. Focusing on small objects detector in aerial images［J］. Acta Electronica Sinica， 2023， 51（4）： 944-955 （in Chinese）.
36	OJALA T， PIETIKÄINEN M， HARWOOD D. A comparative study of texture measures with classification based on featured distributions［J］. Pattern Recognition， 1996， 29（1）： 51-59.
37	GIRSHICK R. Fast R-CNN［C］∥2015 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2016： 1440-1448.
38	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
39	CAI Z W， VASCONCELOS N. Cascade R-CNN： Delving into high quality object detection［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 6154-6162.
40	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection［C］∥2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2016： 779-788.
41	LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot MultiBox detector［C］∥European Conference on Computer Vision. Cham： Springer， 2016： 21-37.
42	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020，42（2）：318-327.
43	TAN M X， PANG R M， LE Q V. EfficientDet： Scalable and efficient object detection［C］∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 10778-10787.
44	ZHOU X Y， KOLTUN V， KRÄHENBÜHL P. Tracking objects as points［C］∥VEDALDI A， BISCHOF H， BROX T， et al. European Conference on Computer Vision. Cham： Springer， 2020： 474-490.
45	TIAN Z， SHEN C H， CHEN H， et al. FCOS： Fully convolutional one-stage object detection［C］∥2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2020： 9626-9635.
46	RONNEBERGER O， FISCHER P， BROX T. U-net： Convolutional networks for biomedical image segmentation［C］∥International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham： Springer， 2015： 234-241.
47	BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： A deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495.
48	HE K M， GKIOXARI G， DOLLÁR P， et al. Mask R-CNN［C］∥16th IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 2961-2969.
49	HE K M， ZHANG X Y， REN S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1904-1916.
50	奚祥书，夏凯，杨垠晖，等. 结合多光谱影像降维与深度学习的城市单木树冠检测［J］. 遥感学报， 2022， 26（4）： 711-721.
	XI X S， XIA K， YANG Y H， et al. Urban individual tree crown detection research using multispectral image dimensionality reduction with deep learning［J］. National Remote Sensing Bulletin， 2022， 26（4）： 711-721 （in Chinese）.
51	DU L， SUN Y Q， CHEN S， et al. A novel object detection model based on Faster R-CNN for spodoptera frugiperda according to feeding trace of corn leaves［J］. Agriculture， 2022， 12（2）： 248.
52	TANG J P， WANG J， WANG H L， et al. Insulator defect detection based on improved Faster R-CNN［C］∥ 2022 4th Asia Energy and Electrical Engineering Symposium （AEEES）. Piscataway： IEEE Press， 2022： 541-546.
53	WANG M， LUO X， WANG X， et al. Research on vehicle detection based on Faster R-CNN for UAV images［C］∥IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium. Piscataway： IEEE Press， 2021： 1177-1180.
54	AVOLA D， CINQUE L， DIKO A， et al. MS-Faster R-CNN： Multi-stream backbone for improved Faster R-CNN object detection and aerial tracking from UAV images［J］. Remote Sensing， 2021， 13（9）： 1670.
55	DING J J， ZHANG J H， ZHAN Z Q， et al. A precision efficient method for collapsed building detection in post-earthquake UAV images based on the improved NMS algorithm and Faster R-CNN［J］. Remote Sensing， 2022， 14（3）： 663.
56	ZHOU Q F， DING S Q， QING G W， et al. UAV vision detection method for crane surface cracks based on Faster R-CNN and image segmentation［J］. Journal of Civil Structural Health Monitoring， 2022， 12（4）： 845-855.
57	HUANG H， LI L L， MA H B. An improved Cascade R-CNN-based target detection algorithm for UAV aerial images［C］∥2022 7th International Conference on Image， Vision and Computing （ICIVC）. Piscataway： IEEE Press， 2022： 232-237.
58	BAO W X， REN Y X， LIANG D， et al. Defect detection algorithm of anti-vibration hammer based on improved Cascade R-CNN［C］∥2020 International Conference on Intelligent Computing and Human-Computer Interaction （ICHCI）. Piscataway： IEEE Press， 2021： 294-297.
59	LIN Q Z， DING Y， XU H， et al. ECascade-RCNN： Enhanced Cascade RCNN for multi-scale object detection in UAV images［C］∥2021 7th International Conference on Automation， Robotics and Applications （ICARA）. Piscataway： IEEE Press， 2021： 268-272.
60	李鑫，刘帅男，杨桢，等. 基于改进Cascade R-CNN的输电线路多目标检测［J］. 电子测量与仪器学报， 2021， 35（10）： 24-32.
	LI X， LIU S N， YANG Z， et al. Multi-target detection of transmission lines based on improved Cascade R-CNN［J］. Journal of Electronic Measurement and Instrumentation， 2021， 35（10）： 24-32 （in Chinese）.
61	张瑞倩，邵振峰， Portnov Aleksei，等. 多尺度空洞卷积的无人机影像目标检测方法［J］. 武汉大学学报（信息科学版）， 2020， 45（6）： 895-903.
	ZHANG R Q， SHAO Z F， PORTNOV A， et al. Multi-scale dilated convolutional neural network for object detection in UAV images［J］. Geomatics and Information Science of Wuhan University， 2020， 45（6）： 895-903 （in Chinese）.
62	REDMON J， FARHADI A. YOLO9000： Better， faster， stronger［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 6517-6525.
63	LIN M， CHEN Q， YAN S. Network in network［DB/OL］. arXiv preprint： 1312.4400， 2013.
64	REDMON J， FARHADI A. YOLOv3： An incremental improvement［DB/OL］. arXiv preprint： 1804.02767， 2018.
65	BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： Optimal speed and accuracy of object detection［DB/OL］. arXiv preprint： 2004.10934， 2020.
66	GE Z， LIU S， WANG F， et al. YOLOx： Exceeding YOLO series in 2021［DB/OL］. arXiv preprint： 2107.08430， 2021.
67	RAMPRIYA R S， SUGANYA R， NATHAN S， et al. A comparative assessment of deep neural network models for detecting obstacles in the real time aerial railway track images［J］. Applied Artificial Intelligence， 2022， 36（1）： 2018184..
68	LIU W J， QIANG J， LI X X， et al. UAV image small object detection based on composite backbone network［J］. Mobile Information Systems， 2022， 2022： 7319529.
69	裴伟，许晏铭，朱永英，等. 改进的SSD航拍目标检测方法［J］. 软件学报， 2019， 30（3）： 738-758.
	PEI W， XU Y M， ZHU Y Y， et al. The target detection method of aerial photography images with improved SSD［J］. Journal of Software， 2019， 30（3）： 738-758 （in Chinese）.
70	李旭，宋世奇，殷晓晴. 基于目标空间分布特征的无人机航拍车辆实时检测技术研究［J］. 中国公路学报， 2022， 35（12）： 193-204.
	LI X， SONG S Q， YIN X Q. Real-time vehicle detection technology for UAV imagery based on target spatial distribution features［J］. China Journal of Highway and Transport， 2022， 35（12）： 193-204 （in Chinese）.
71	WANG X Q. Vehicle image detection method using deep learning in UAV video［J］. Computational Intelligence and Neuroscience， 2022， 2022： 8202535.
72	JAWAHARLALNEHRU A， SAMBANDHAM T， SEKAR V， et al. Target object detection from unmanned aerial vehicle （UAV） images based on improved YOLO algorithm［J］. Electronics， 2022， 11（15）： 2343.
73	JAVED M G， RAZA M， GHAFFAR M M， et al. QuantYOLO： A high-throughput and power-efficient object detection network for resource and power constrained UAVs［C］∥2021 Digital Image Computing： Techniques and Applications （DICTA）. Piscataway： IEEE Press， 2021： 1-8.
74	LIU J， JIA R， LI W， et al. High precision detection algorithm based on improved RetinaNet for defect recognition of transmission lines［J］. Energy Reports， 2020， 6： 2430-2440.
75	PURCELL C R， WALSH A J， COLEFAX A P， et al. Assessing the ability of deep learning techniques to perform real-time identification of shark species in live streaming video from drones［J］. Frontiers in Marine Science， 2022， 9： 981897.
76	TAKAYA K， SHIBATA A， MIZUNO Y， et al. Unmanned aerial vehicles and deep learning for assessment of anthropogenic marine debris on beaches on an island in a semi-enclosed sea in Japan［J］. Environmental Research Communications， 2022， 4（1）： 015003.
77	李洪瑶，李小强，韩心中，等. 基于决策融合的多无人机协同目标检测识别算法［J］. 系统工程与电子技术， 2022， 44（3）： 746-754.
	LI H Y， LI X Q， HAN X Z， et al. Cooperative object detection and recognition algorithm for multiple UAVs based on decision fusion［J］. Systems Engineering and Electronics， 2022， 44（3）： 746-754 （in Chinese）.
78	CHENG Z， CHEN J Y， ZHANG X， et al. Comparative study of two target detection algorithms in UAV aerial photography detection［C］∥Proc SPIE 12057， Twelfth International Conference on Information Optics and Photonics， 2021， 12057： 889-894.
79	JUNOS M H， KHAIRUDDIN A S M， THANNIRMA⁃ LAI S， et al. Automatic detection of oil palm fruits from UAV images using an improved YOLO model［J］. The Visual Computer， 2022， 38（7）： 2341-2355.
80	YANG Z S， XU Z， WANG Y H. Bidirection-fusion-YOLOv3： An improved method for insulator defect detection using UAV image［J］. IEEE Transactions on Instrumentation and Measurement， 2022， 71： 3521408.
81	ZHU J Q， ZHONG J T， MA T， et al. Pavement distress detection using convolutional neural networks with images captured via UAV［J］. Automation in Construction， 2022， 133： 103991.
82	SAHIN O， OZER S. YOLODrone： Improved YOLO architecture for object detection in drone images［C］∥2021 44th International Conference on Telecommunications and Signal Processing （TSP）. Piscataway： IEEE Press， 2021： 361-365.
83	刘芳，韩笑. 基于多尺度深度学习的自适应航拍目标检测［J］. 航空学报， 2022， 43（5）： 325270.
	LIU F， HAN X. Adaptive aerial object detection based on multi-scale deep learning［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（5）： 325270 （in Chinese）.
84	蒲良，张学军. 基于深度学习的无人机视觉目标检测与跟踪［J］. 北京航空航天大学学报， 2022， 48（5）： 872-880.
	PU L， ZHANG X J. Deep learning based UAV vision object detection and tracking［J］. Journal of Beijing University of Aeronautics and Astronautics， 2022， 48（5）： 872-880 （in Chinese）.
85	TSENG H H， YANG M D， SAMINATHAN R， et al. Rice seedling detection in UAV images using transfer learning and machine learning［J］. Remote Sensing， 2022， 14（12）： 2837.
86	ALDAHOUL N， KARIM H A， SABRI A Q M， et al. A comparison between various human detectors and CNN-based feature extractors for human activity recognition via aerial captured video sequences［J］. IEEE Access， 2022， 10： 63532-63553.
87	DOUSAI N M K， LONČARIĆ S. Detecting humans in search and rescue operations based on ensemble learning［J］. IEEE Access， 2022， 10： 26481-26492.
88	XIA H Y， YANG B H， LI Y L， et al. An improved CenterNet model for insulator defect detection using aerial imagery［J］. Sensors， 2022， 22（8）： 2850.
89	ALBABA B M， OZER S. S_yNet： An ensemble network for object detection in UAV images［C］∥2020 25th International Conference on Pattern Recognition （ICPR）. Piscataway： IEEE Press， 2021： 10227-10234.
90	刘鑫，黄进，杨涛，等. 改进CenterNet的无人机小目标捕获检测方法［J］. 计算机工程与应用， 2022， 58（14）： 96-104.
	LIU X， HUANG J， YANG T， et al. Improved small object detection for UAV acquisition based on CenterNet［J］. Computer Engineering and Applications， 2022， 58（14）： 96-104 （in Chinese）.
91	王胜科，任鹏飞，吕昕，等. 基于中心点和双重注意力机制的无人机高分辨率图像小目标检测算法［J］. 应用科学学报， 2021， 39（4）： 650-659.
	WANG S K， REN P F， LÜ X， et al. Small target detection algorithm of UAV high resolution image based on center point and dual attention mechanism［J］. Journal of Applied Sciences， 2021， 39（4）： 650-659 （in Chinese）.
92	AKSHATHA K R， BISWAS S， KARUNAKAR A K， et al. Anchored versus anchorless detector for car detection in aerial imagery［C］∥2021 2nd Global Conference for Advancement in Technology （GCAT）. Piscataway： IEEE Press， 2021： 1-6.
93	WANG H X， HUANG Z， CHEN Y Q， et al. Defect detection from power line images using advanced deep detectors［C］∥2021 13th International Conference on Wireless Communications and Signal Processing （WCSP）. Piscataway： IEEE Press， 2021： 1-5.
94	GAO Y X， HOU R M， GAO Q A， et al. A fast and accurate few-shot detector for objects with fewer pixels in drone image［J］. Electronics， 2021， 10（7）： 783.
95	ZHAO L J， LIU C A， ZHANG Z， et al. Transmission line object detection method based on label adaptive allocation［J］. Mathematics， 2022， 10（12）： 2150.
96	张智，郑锦. 结合帧间目标回归网络的无人机视频车辆检测［J］. 西安电子科技大学学报， 2021， 48（4）： 151-158.
	ZHANG Z， ZHENG J. Interframe target regression network for vehicle detection in UAV video［J］. Journal of Xidian University， 2021， 48（4）： 151-158 （in Chinese）.
97	TAN L， LV X Y， LIAN X F， et al. YOLOv4_Drone： UAV image target detection based on an improved YOLOv4 algorithm［J］. Computers & Electrical Engineering， 2021， 93： 107261.
98	CHENG Y B. Detection of power line insulator based on enhanced YOLO model［C］∥2022 IEEE Asia-Pacific Conference on Image Processing， Electronics and Computers （IPEC）. Piscataway： IEEE Press， 2022： 626-632.
99	BAO W X， REN Y X， WANG N A， et al. Detection of abnormal vibration dampers on transmission lines in UAV remote sensing images with PMA-YOLO［J］. Remote Sensing， 2021， 13（20）： 4134.
100	ZHU Y C， ZHOU J， YANG Y H， et al. Rapid target detection of fruit trees using UAV imaging and improved light YOLOv4 algorithm［J］. Remote Sensing， 2022， 14（17）： 4324.
101	黄丽明，王懿祥，徐琪，等. 采用YOLO算法和无人机影像的松材线虫病异常变色木识别［J］. 农业工程学报， 2021， 37（14）： 197-203.
	HUANG L M， WANG Y X， XU Q， et al. Recognition of abnormally discolored trees caused by pine wilt disease using YOLO algorithm and UAV images［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（14）： 197-203 （in Chinese）.
102	YU Z W， SHEN Y G， SHEN C K. A real-time detection approach for bridge cracks based on YOLOv4-FPM［J］. Automation in Construction， 2021， 122： 103514.
103	WU J， SUN Y X， WANG X L. Corrosion detection method of transmission line components in mining area based on multiscale enhanced fusion［J］. Mobile Information Systems， 2022， 2022： 7408265.
104	ZHU J R， WANG X D， LIU Y， et al. UavTinyDet： Tiny object detection in UAV scenes［C］∥2022 7th International Conference on Image， Vision and Computing （ICIVC）. Piscataway： IEEE Press， 2022： 195-200.
105	刘树东，刘业辉，孙叶美，等. 基于倒置残差注意力的无人机航拍图像小目标检测［J］. 北京航空航天大学学报， 2023， 49（3）： 514-524.
	LIU S D， LIU Y H， SUN Y M， et al. Small object detection in UAV aerial images based on inverted residual attention［J］. Journal of Beijing University of Aeronautics and Astronautics， 2023， 49（3）： 514-524 （in Chinese）.
106	冒国韬，邓天民，于楠晶. 基于多尺度分割注意力的无人机航拍图像目标检测算法［J］. 航空学报， 2023， 44（5）： 268-278.
	MAO G T， DENG T M， YU N J. Object detection in UAV images based on multi-scale split attention［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（5）： 268-278 （in Chinese）.
107	LI Z R， NAMIKI A， SUZUKI S， et al. Application of low-altitude UAV remote sensing image object detection based on improved YOLOv5［J］. Applied Sciences， 2022， 12（16）： 8314.
108	ZHANG R， WEN C B. SOD-YOLO： A small target defect detection algorithm for wind turbine blades based on improved YOLOv5［J］. Advanced Theory and Simulations， 2022， 5（7）： 2100631.
109	白健鹏，王巍，陈雨溪，等. 基于轻量型YOLOv5的风机桨叶检测与空间定位［J］. 智能系统学报， 2022， 17（6）： 1173-1181.
	BAI J P， WANG W， CHEN Y X， et al. Detection and spatial location of wind turbine blades based on lightweight YOLOv5［J］. CAAI Transactions on Intelligent Systems， 2022， 17（6）： 1173-1181 （in Chinese）.
110	WANG X W， ZHAO Q Z， JIANG P， et al. LDS-YOLO： A lightweight small object detection method for dead trees from shelter forest［J］. Computers and Electronics in Agriculture， 2022， 198： 107035.
111	LIU W， QUIJANO K， CRAWFORD M M. YOLOv5-tassel： Detecting tassels in RGB UAV imagery with improved YOLOv5 based on transfer learning［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2022， 15： 8085-8094.
112	鲍文霞，谢文杰，胡根生，等. 基于TPH-YOLO的无人机图像麦穗计数方法［J］. 农业工程学报， 2023， 39（1）： 155-161.
	BAO W X， XIE W J， HU G S， et al. Wheat ear counting method in UAV images based on TPH-YOLO［J］. Transactions of the Chinese Society of Agricultural Engineering， 2023， 39（1）： 155-161 （in Chinese）.
113	RU C Y， ZHANG S H， QU C N， et al. The high-precision detection method for insulators’ self-explosion defect based on the unmanned aerial vehicle with improved lightweight ECA-YOLOX-tiny model［J］. Applied Sciences， 2022， 12（18）： 9314.
114	YAO Z S， LIU T， YANG T L， et al. Rapid detection of wheat ears in orthophotos from unmanned aerial vehicles in fields based on YOLOX［J］. Frontiers in Plant Science， 2022， 13： 851245.
115	HOU H Y， CHEN M X， TIE Y B， et al. A universal landslide detection method in optical remote sensing images based on improved YOLOX［J］. Remote Sensing， 2022， 14（19）： 4939.
116	ZHAN J L， HU Y W， CAI W W， et al. PDAM-STPNNet： A small target detection approach for wildland fire smoke through remote sensing images［J］. Symmetry， 2021， 13（12）： 2260.
117	ZHONG J T， ZHU J Q， JU H Y， et al. Multi-scale feature fusion network for pixel-level pavement distress detection［J］. Automation in Construction， 2022， 141： 104436.
118	QI L J， ZHOU J R， WAN J J， et al. Canopy recognition of cherry fruit tree based on SegNet network model［C］∥Proc SPIE 11915， International Conference on Optics and Image Processing （ICOIP 2021）， 2021， 11915： 92-104.
119	LI G A， HAN W T， HUANG S J， et al. Extraction of sunflower lodging information based on UAV multi-spectral remote sensing and deep learning［J］. Remote Sensing， 2021， 13（14）： 2721.
120	LI F， BAI J Y， ZHANG M Y， et al. Yield estimation of high-density cotton fields using low-altitude UAV imaging and deep learning［J］. Plant Methods， 2022， 18（1）： 1-11.
121	JEON E I， KIM S， PARK S， et al. Semantic segmentation of seagrass habitat from drone imagery based on deep learning： A comparative study［J］. Ecological Informatics， 2021， 66： 101430.
122	HUANG L， WU X Q， PENG Q Z， et al. Depth semantic segmentation of tobacco planting areas from unmanned aerial vehicle remote sensing images in plateau mountains［J］. Journal of Spectroscopy， 2021， 2021： 6687799.
123	NARVARIA A， KUMAR U， JHANWWEE K S， et al. Classification and identification of crops using deep learning with UAV data［C］∥2021 IEEE International India Geoscience and Remote Sensing Symposium （InGARSS）. Piscataway： IEEE Press， 2022： 153-156.
124	ZHAI Z Q， CHEN X G， ZHANG R Y， et al. Evaluation of residual plastic film pollution in pre-sowing cotton field using UAV imaging and semantic segmentation［J］. Frontiers in Plant Science， 2022， 13： 991191.
125	YU J， CHENG T， CAI N， et al. Wheat lodging extraction using Improved_Unet network［J］. Frontiers in Plant Science， 2022， 13： 1009835.
126	PI Y L， NATH N D， BEHZADAN A. Detection and semantic segmentation of disaster damage in UAV foot-age［J］. Journal of Computing in Civil Engineering， 2021， 35（2）： 04020063.
127	ZHENG C W， ABD-ELRAHMAN A， WHITAKER V M， et al. Deep learning for strawberry canopy delineation and biomass prediction from high-resolution images［J］. Plant Phenomics， 2022， 2022： 9850486.
128	LI Y B， CHAI G Q， WANG Y T， et al. ACE R-CNN： An attention complementary and edge detection-based instance segmentation algorithm for individual tree species identification using UAV RGB images and LiDAR data［J］. Remote Sensing， 2022， 14（13）： 3035.
129	SINGH A K， DWIVEDI A K， SUMANTH M， et al. An efficient approach for instance segmentation of railway track sleepers in low altitude UAV images using Mask R-CNN［C］∥IGARSS 2022 - 2022 IEEE International Geoscience and Remote Sensing Symposium. Piscataway： IEEE Press， 2022： 4895-4898.
130	CHEN W， CHEN C Y， LIU M， et al. Wall cracks detection in aerial images using improved Mask R-CNN［J］. Computers， Materials & Continua， 2022， 73（1）： 767-782.
131	余加勇，李锋，薛现凯，等. 基于无人机及Mask R-CNN的桥梁结构裂缝智能识别［J］. 中国公路学报， 2021， 34（12）： 80-90.
	YU J Y， LI F， XUE X K， et al. Intelligent identification of bridge structural cracks based on unmanned aerial vehicle and Mask R-CNN［J］. China Journal of Highway and Transport， 2021， 34（12）： 80-90 （in Chinese）.
132	PUERTAS E， DE-LAS-HERAS G， FERNÁNDEZ-ANDRÉS J， et al. Dataset： Round about aerial images for vehicle detection［J］. Data， 2022， 7（4）： 47.
133	GA̧SIENICA-JÓZKOWY J， KNAPIK M， CYGANEK B. An ensemble deep learning method with optimized weights for drone-based water rescue and surveillance［J］. Integrated Computer-Aided Engineering， 2021， 28（3）： 221-235.
134	BEHERA T K， BAKSHI S， SA P K， et al. The NITRDrone dataset to address the challenges for road extraction from aerial images［J］. Journal of Signal Processing Systems， 2023， 95（2）： 197-209.
135	DU D W， QI Y K， YU H Y， et al. The unmanned aerial vehicle benchmark： Object detection and tracking［C］∥European Conference on Computer Vision. Cham： Springer， 2018： 375-391.
136	NIGAM I， HUANG C， RAMANAN D. Ensemble knowledge transfer for semantic segmentation［C］∥2018 IEEE Winter Conference on Applications of Computer Vision （WACV）. Piscataway： IEEE Press， 2018： 1499-1508.
137	ROBICQUET A， SADEGHIAN A， ALAHI A， et al. Learning social etiquette： Human trajectory understanding in crowded scenes［C］∥European Conference on Computer Vision. Cham： Springer， 2016： 549-565.
138	ROBICQUET A， ALAHI A， SADEGHIAN A， et al. Forecasting social navigation in crowded complex scenes［DB/OL］. arXiv preprint： 1601.00998， 2016.
139	HSIEH M R， LIN Y L， HSU W H. Drone-based object counting by spatially regularized regional proposal network［C］∥2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 4165-4173.
140	BAREKATAIN M， MARTÍ M， SHIH H F， et al. Okutama-action： An aerial view video dataset for concurrent human action detection［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway： IEEE Press， 2017： 2153-2160.
141	MUELLER M， SMITH N， GHANEM B. A benchmark and simulator for UAV tracking［C］∥14th European Conference on Computer Vision （ECCV）. Cham： Springer， 2016： 445-461.
142	DU D W， ZHU P F， WEN L Y， et al. VisDrone-DET2019： The vision meets drone object detection in image challenge results［C］∥2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. Piscataway： IEEE Press， 2020： 213-226.
143	ZHU P F， DU D W， WEN L Y， et al. VisDrone-VID2019： The vision meets drone object detection in video challenge results［C］∥2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. Piscataway： IEEE Press， 2020： 227-235.
144	GHIASI G， LIN T Y， LE Q V. NAS-FPN： Learning scalable feature pyramid architecture for object detection［C］∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 7029-7038.

文献	改进策略	应用场景	贡献	局限性
［51］	增加主干网络输出、增强特征融合、添加注意力模块	无人机航拍影像中害虫在叶片上啃食区域的检测	增强了模型特征提取与特征融合的能力	模型的特征融合过程更加复杂，所添加的注意力模块增加了模型参数
［52］	更换主干网络、增强特征融合、修改池化层	无人机电力线巡检中绝缘子的缺陷检测	有利于缓解梯度消失和梯度爆炸的问题，有利于多尺度特征融合	添加的模块增加了模型参数
［53］	增加主干网络输出、数据集预处理	无人机航拍影像中车辆的检测	有利于小目标的特征提取	特征融合部分结构复杂，模型预处理过程繁琐
［55］	添加DConv卷积操作、优化NMS方法	无人机航拍影像中倒塌建筑物的检测	有利于学习不规则几何特征的相关信息，提高对任意形状倒塌建筑物的适应性	可形变卷积增加了模型的计算量

文献	改进策略	应用场景	贡献	局限性
［57］	改进检测头	无人机航拍影像中密集小目标的检测	有利于更好地提取边缘帧并对边缘帧进行精确地调整，提供更准确的感兴趣区域	模型的检测头结构复杂
［58］	数据集预处理、更换主干网络、修改损失函数	无人机电力线巡检中防震锤等部件缺陷的检测	提高了模型特征提取与特征融合的能力	模型预处理过程复杂耗时
［59］	优化主干网络、调整锚框参数	无人机航拍影像中多尺度目标的检测	提高了模型对不同尺度目标的检测能力	模型的特征融合部分结构复杂
［60］	更换主干网络、增强特征融合、修改NMS方法、修改损失函数	无人机航拍影像中多目标的检测	缓解了无人机图像中小目标、物体遮挡和正负样本不平衡的问题	增加了模型主干的复杂度
［61］	优化主干网络、增大模型感受野	无人机航拍影像中多目标的检测	扩大了模型的感受野，提升了复杂背景下的检测精度	空洞卷积的结果缺乏连续性

文献	改进策略	应用场景	贡献	局限性
［68］	优化主干网络	无人机航拍影像中小目标的检测	提高了特征提取能力，保留了更加丰富的语义信息	并行的模型主干结构复杂
［69］	更换主干网络、增大模型感受野、增强特征融合	无人机航拍影像中小目标的检测	提高了主干的特征提取能力，降低了网络的训练难度，增强了模型的泛化性	空洞卷积的结果缺乏连续性
［70］	调整锚框参数、优化主干网络	无人机航拍影像中车辆的检测	减少了模型参数，提升了检测速度，有利于获取车辆准确的分布特征	使用的深度可分离卷积会降低模型的检测精度
［71］	数据集预处理、修改损失函数	无人机航拍影像中车辆的检测	增强了对不同光照条件和样本多样性的适应能力	图像预处理过程复杂、耗时

文献	改进策略	应用场景	贡献	局限性
［72］	调整锚框参数、调整图像输入批量大小	无人机航拍影像中多尺度目标的检测	提高了对不同尺度图像的鲁棒性	模型训练过程复杂，需要花费更多的时间
［73］	优化主干网络	资源和功率受限的无人机部署平台	降低了模型参数，提高了运行速度	使用的深度可分离卷积会降低模型的检测精度

文献	改进策略	应用场景	贡献	局限性
［74］	调整锚框参数、更换主干网络	无人机电力线巡检中相关目标的检测	获取了更加匹配的锚框	模型主干网络结构冗余
［75］	更换主干网络	无人机航拍影像中海洋生物的检测	降低了模型参数，提高了运行速度	在处理小目标时性能会下降
［77］	调整锚框参数、修改损失函数、数据集预处理	多无人协同的目标检测方法	使用了更加匹配的锚框，提高了小目标的召回率	预测结果的拼接过程复杂、耗时

Research progress on deep learning methods for object detection and semantic segmentation in UAV aerial images

RichHTML

PDF (PC)

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 20

References 144

Related Articles 15

Recommended Articles

Metrics

Comments

文献	改进策略	应用场景	贡献	局限性
［79］	数据集预处理、优化主干网络	无人机航拍影像中棕榈果的检测	提高了模型特征提取能力	模型预处理过程复杂、耗时
［80］	增强特征融合、修改损失函数	无人机电力线巡检中绝缘子的检测	提高了对小目标的识别精度	使用的损失函数计算复杂
［11］	增加主干网络输出、增强特征融合、增大模型感受野	无人机电力线巡检中绝缘子的检测	增强了网络的特征融合能力	模型的颈部结构复杂
［82］	增加主干网络输出、增强特征融合	无人机航拍影像中小目标的检测	优化了对小目标的定位效果，加强了模型多尺度特征融合的能力	模型的颈部结构复杂
［83］	优化主干网络、添加注意力模块、增加主干网络输出	无人机航拍影像中小目标的检测	提高了多尺度特征的表达能力，增强了模型特征融合的能力	注意力模块的添加增加了模型参数
［84］	优化主干网络、增加主干网络输出、调整锚框参数	无人机航拍影像中小目标的检测	提高了模型特征提取能力	模型的颈部结构复杂

文献	改进策略	应用场景	贡献	局限性
［86］	数据集预处理	无人机航拍影像中人体检测和人体活动识别	对比了不同模型之间的检测性能，对比了不同版本EfficientDet的检测性能	模型预处理过程复杂、耗时
［87］	优化主干网络、增强特征融合	无人机航拍影像中小目标的检测	提高了小目标的检测性能	级联的结构增加了模型的复杂度

文献	改进策略	应用场景	贡献	局限性
［88］	更换主干网络、添加注意力模块、修改损失函数、增加主干网络输出	无人机电力线巡检中绝缘子的检测	降低了模型参数和计算复杂度，使得网络更加轻量化	转置卷积的添加会延长模型的训练时间
［89］	数据集预处理、优化主干网络	无人机航拍影像中杂乱目标的检测	提升了对小目标的预测效果，并且对不同尺度的目标具有更强的鲁棒性	并行结构使得模型过于复杂
［90］	优化主干网络、添加注意力模块、改进检测头、修改激活函数	无人机航拍影像中小目标的检测	提高了复杂背景下小目标的特征提取能力	添加的模块增加了模型的复杂度
［91］	数据集预处理、添加注意力模块、优化NMS方法	无人机航拍影像中小目标的检测	采用剪裁的方法对图像进行预处理，用于获取合适的输入尺寸	模型预处理过程复杂、耗时

文献	改进策略	应用场景	贡献	局限性
［94］	采用无锚框思想、增强特征融合、优化NMS方法	无人机航拍影像中小目标的检测	提高了模型针对小目标的检测能力	Soft-NMS中高斯惩罚函数的计算复杂
［95］	增加主干网络输出、改进检测头	无人机输电线路巡检中多尺度目标的检测	有助于充分利用语义信息和位置信息，提高了小目标的检测性能	添加的分支结构增加了模型的复杂度
［96］	优化NMS方法、增强特征融合	无人机航拍影像中车辆的检测	有助于抑制相互重叠的预测框，提高了模型的后处理能力	Soft-NMS中高斯惩罚函数计算复杂

文献	改进策略	应用场景	贡献	局限性
［97］	增大模型感受野、添加注意力模块、优化NMS方法	无人机航拍影像中小目标的检测	扩张了模型的感受野，有利于提取不同尺度的特征	空洞卷积的结果缺乏连续性
［98］	数据集预处理	用于处理无人机航拍影像模糊、曝光和噪声的问题	加强了模型的数据预处理能力，有效缓解了因数据量较少而造成的训练困难问题	模型预处理过程复杂、耗时
［10］	增加主干网络输出、扩大模型感受野、增强特征融合	无人机电力线巡检中防振锤故障的检测	有效增加了模型的感受野，融合了多种尺度大小的特征信息	空洞卷积的结果缺乏连续性
［99］	添加注意力模块、调整锚框参数	无人机电力线巡检中目标缺陷的检测	增强了模型的特征提取能力，获取了更加准确的锚框参数	注意力模块的添加增加了模型参数
［100］	更换主干网络、添加注意力模块、增强特征融合、调整学习率参数	无人机航拍影像中果树冠层的检测	有助于网络更好地聚焦于目标特征，增强了网络检测多尺度目标的能力	模型的颈部结构复杂
［101］	更换主干网络、简化颈部网络	无人机航拍影像中松材线虫病变树木的检测	降低了模型参数，提高了模型的检测速度	使用的深度可分离卷积会影响模型的检测精度
［102］	修改损失函数、简化网络结构、数据集预处理	无人机航拍影像中桥梁裂缝的检测	缓解了复杂背景带来的干扰，增强了多尺度目标检测的鲁棒性	剪枝算法会降低模型的检测精度

文献	改进策略	应用场景	贡献	局限性
［113］	添加注意力模块、调整输入图像分辨率大小、调整学习率参数	无人机电力线巡检中绝缘子的检测	增强了模型特征提取能力，提高了绝缘子检测的准确率	扩大输入图像的尺寸会增加模型的训练和预测时间
［114］	数据集预处理、添加注意力模块、增强特征融合	无人机航拍影像中麦穗的检测	有利于保留更多小目标的特征	模型预处理过程复杂、耗时
［115］	修改损失函数、添加注意力模块	无人机航拍影像中山体滑坡的检测	解决大小样本分布不均的问题，加强了特定区域的识别能力	添加的注意力模块增加了模型的复杂度
［116］	优化主干网络、添加注意力模块、数据集预处理	无人机航拍影像中烟雾的检测	增加了小目标样本的数量，提高了预测的可靠性	模型预处理过程复杂、耗时

文献	改进策略	应用场景	贡献	局限性
［117］	增强特征融合	无人机航拍影像中路面破损的检测	有助于更好地利用浅层位置信息和深层语义信息，提高了特征图的分辨率	编码器和解码器结构复杂
［118］	修改激活函数、修改模型优化器、添加正则化操作	无人机航拍影像中果树冠层的检测	训练过程更稳定，收敛速度更快，鲁棒性更强，在不同光照条件下识别目标轮廓更精细	Adam自适应优化器在深层网络中存在性能退化的问题
［119］	改进网络的输入	无人机航拍影像中向日葵倒伏状态的检测	改进后的模型适用于多波段图像的处理	添加的近红外波段输入会增加模型的运算量
［120］	降低模型复杂度、扩大模型感受野	无人机航拍影像中棉花的检测	降低了模型复杂度，提高了分割效率	空洞卷积的结果缺乏连续性

文献	改进策略	应用场景	贡献	局限性
［121］	更换主干网络、数据集预处理	无人机航拍影像中海草分布的检测	验证了不同的归一化策略对模型的影响	增加了模型预处理的复杂度
［123］	对比不同各纹理参数在语义分割中的效果	无人机航拍影像中不同作物的检测	寻找最佳的输入光谱波段组合	增加的纹理参数会提升模型的计算复杂度
［124］	优化主干网络、增强特征融合	无人机航拍影像中棉花田地残留种植地膜的检测	降低了模型主干参数，提高了模型的检测速度	使用的Inception模块会降低模型的检测精度
［125］	优化主干网络、增大模型感受野	无人机航拍影像中小麦倒伏的检测	扩大了模型的感受野，保留了更多的语义信息，提高了分割精度	使用的密集连接模块结构冗余

文献	改进策略	应用场景	贡献	局限性
［128］	优化主干网络、添加注意力模块、修改损失函数	无人机航拍影像中小目标的检测	有选择性地强调从彩色图像和冠层高度模型分支提取的加权特征	添加的注意力模块增加了模型的复杂度
［130］	更换主干网络	无人机航拍影像中建筑外墙裂缝的检测	防止了梯度消失，有利于增强网络的泛化性，加快网络的训练速度	DenseNet模块结构冗余
［131］	数据集预处理	无人机航拍影像中桥梁裂缝、锈蚀和脱落病害的检测	提高了对裂缝的检测精度和召回率	模型预处理过程复杂、耗时

文献	图片数量/张	无人机飞行高度/m	图像分辨率/像素	目标类别
［132］	61 896	100~120	1 920×1 080	汽车、自行车、卡车和公交车
［133］	3 647	30~80	1 280×720~3 840×2 160	人、滑板、游艇、浮标、帆船和皮划艇
［134］	1 000	5~80	1 280×720~3 000×4 000	公路、植被、行人、汽车、路灯和背景
［135］	8 000	10~30、30~70、70以上	1 080×540	汽车、卡车和公共汽车
［13］	68 750	30~40	4 000×3 000	行人
［136］	3 269	5~50	1 280×720	行人、自行车、汽车、无人机、轮船、动物、障碍物、建筑物、植被、公路、天空和背景
［137-138］	20 000	80	1 400×1 904	行人、骑自行车的人、汽车、玩滑板的人、高尔夫球车和公交车
［139］	1 573	40	1 000×600	汽车
［140］		10~45	3 840×2 160	走路、坐下、站立、奔跑、躺下、搬运、推搡、阅读、喝水、打电话、握手和拥抱
［12］	1 981	5~50	1 000×1 000	奔跑、行走、站立、坐下和躺下
［141］		5~25	1 280×720	汽车、卡车、船舶、行人和飞机
［142-143］	8 599		2 000×2 000	行人、人、汽车、货车、公交车、卡车、摩托车、自行车、带遮阳棚的三轮车和不带遮阳棚的三轮车

真实值	预测值=Positive	预测值=Negative
True	TP（True Positive）	FN（False Negative）
False	FP（False Positive）	TN（True Negative）

评价指标	意义	计算式
精确率P	预测真实正样本与所有预测正样本之间的比值	（1）
召回率R	预测真实正样本与实际正样本之间的比值	（2）
F1分数（F1 Score）	精确率和召回率的调和平均值	（3）
平均精度AP	某个类别精确率的平均值	（4）
平均精度均值mAP	所有类别AP的平均值	（5）

评价指标	意义	计算式
像素精度PA	所有像素类别预测正确的数量与像素总数的比例	（6）
平均像素精度MPA	所有类别像素精度的平均值	（7）
平均交并比MIoU	所有类别交集与并集的比例的平均值	（8）

[1]	Jiaqi LIU, Rongqian CHEN, Jinhua LOU, Xu HAN, Hao WU, Yancheng YOU. Aerodynamic shape optimization of high-speed helicopter rotor airfoil based on deep learning [J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(9): 529828-529828.
[2]	Gaojie ZHENG, Xiaoming HE, Dongpo LI, Huijun TAN, Kun WANG, Zhenlong WU, Depeng WANG. Double 90° deflection inlet/volute coupling flow characteristics of tail-powered unmanned aerial vehicle [J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(4): 128782-128782.
[3]	Haiqiao LIU, Meng LIU, Zichao GONG, Jing DONG. A review of image matching methods based on deep learning [J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(3): 28796-028796.
[4]	Jiqiang GAN, Xiaoping WANG. Surface defect detection of fiber placement based on virtual sample generation [J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(1): 428624-428624.
[5]	Kunda LIU, Xueming LIU, Bo ZHU, Qingrui ZHANG. Robust safe control for multi⁃UAV formation flight through narrow corridors [J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(S2): 729768-729768.
[6]	Xin SU, Runcheng GUAN, Qiao WANG, Weizheng YUAN, Xianglian LYU, Yang HE. Ice area and thickness detection method based on deep learning [J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(S2): 729283-729283.
[7]	Liqun CHEN, Xu ZOU, Lei ZHANG, Yingpan ZHU, Gang WANG, Jinyong CHEN. On⁃board intelligent target detection technology based on domestic commercial components [J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(S2): 728860-728860.
[8]	Pengyu LIU, Xueyao ZHU. Semantic parsing technology of air traffic control instruction in fusion airspace based on deep learning [J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(S1): 727592-727592.
[9]	Zhiqiang FENG, Zhijun XIE, Zhengwei BAO, Kewei CHEN. Real⁃time dense small object detection algorithm for UAV based on improved YOLOv5 [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2023, 44(7): 327106-327106.
[10]	Lei HE, Weiqi QIAN, Kangsheng DONG, Xian YI, Congcong CHAI. Aerodynamic characteristics modeling of iced airfoil based on convolution neural networks [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2023, 44(5): 126434-126434.
[11]	Guotao MAO, Tianmin DENG, Nanjing YU. Object detection in UAV images based on multi-scale split attention [J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2023, 44(5): 326738-326738.
[12]	Peng DING, Yafei SONG. A cost-sensitive method for aerial target intention recognition [J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(24): 328551-328551.
[13]	Xiaohang LI, Jianjiang ZHOU. Multi⁃scale modality fusion network based on adaptive memory length [J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(22): 628977-628977.
[14]	Haowen LUO, Shaoming HE, Tianyu JIN, Zichao LIU. Impact-angle-constrained with time-minimum guidance algorithm based on transfer learning [J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(19): 328400-328400.
[15]	Wei LI, Yan GUO, Ning LI, Cuntao LIU, Hao YUAN. Intelligent reflector surface assisted UAV mobile edge computing task data maximization method [J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(19): 328486-328486.