无人机遥感图像实时小目标检测方法

doi:10.7527/S1000-6893.2024.30119

弱小目标检测与跟踪专栏

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

无人机遥感图像实时小目标检测方法

刘延芳¹^,²(), 佘佳宇¹, 袁秋帆³, 周芮¹, 齐乃明¹^,²

^1.哈尔滨工业大学航天学院，哈尔滨 150001
^2.哈工大苏州研究院，苏州 215104
^3.上海宇航系统工程研究所，上海 201109

收稿日期:2024-01-08 修回日期:2024-01-18 接受日期:2024-03-26 出版日期:2024-07-25 发布日期:2024-04-10
通讯作者: 刘延芳 E-mail:lyf04025121@126.com
基金资助:
国家自然科学基金(52272390);黑龙江省自然科学基金(YQ2022A009)

Real⁃time small target detection networks for UAV remote sensing

Yanfang LIU¹^,²(), Jiayu SHE¹, Qiufan YUAN³, Rui ZHOU¹, Naiming QI¹^,²

^1.School of Astronautics，Harbin Institute of Technology，Harbin 150001，China
^2.Suzhou Research Institute of HIT，Suzhou 215104，China
^3.Shanghai Aerospace System Engineering Institute，Shanghai 201109，China

Received:2024-01-08 Revised:2024-01-18 Accepted:2024-03-26 Online:2024-07-25 Published:2024-04-10
Contact: Yanfang LIU E-mail:lyf04025121@126.com
Supported by:
National Natural Science Foundation of China(52272390);Natural Science Foundation of Heilongjiang Province(YQ2022A009)

摘要/Abstract

摘要：

得益于深度学习方法的发展，近年来目标检测方法的性能有了很大的提升。然而，从无人机（UAV）遥感图像中检测目标仍然存在很大的挑战，原因包括：UAV遥感图像中目标分辨率小、背景复杂，现有算法难以满足实时性要求。面对这些挑战，提出了一种基于多尺度多深度特征提取（MMFE）网络的实时小目标检测（RTSTD）方法，能够高效的从UAV遥感图像中检测小目标。RTSTD将一幅输入图像剪裁成多个小尺寸的图像，并将一部分小尺寸图像输入到轻量化的MMFE网络中。因此，RTSTD具有处理任意分辨率的遥感图像而不丢失图像细节特征的能力。对于MMFE网络，提出了一种更有效的输出：重叠向量能够表示目标在输入图像中的位置和置信度。为了增强MMFE网络区分目标和复杂背景的能力，重新定义了正样本和负样本。为测试RTSTD的性能，从开源数据集UAV123、DTB70和AU-AIR中筛选重构了7个数据集，共8369张UAV遥感图像，涉及地面和海面场景下的小目标检测。结果证明，与现有的检测方法相比，RTSTD方法在准确性和速度方面都取得了改善，平均F1-Score>0.90，GPU运行每秒>66帧，CPU运行每秒>35帧。

关键词: 遥感图像, 小目标检测, 实时检测, 卷积神经网络, 特征融合

Abstract:

Benefiting from deep learning methods， the performance of object detection methods has greatly improved in recent years. However， significant challenges still exist in detecting targets from UAV remote sensing images. For example， the targets in UAV remote sensing images have small resolution and complex background， and the existing algorithms are difficult to meet the requirement for real-timeliness. To overcome these challenges， this paper proposes a Real-Time Small Target Detection （RTSTD） method based on a Multi-scalar & Multi-depth Feature Extraction （MMFE） network， which can efficiently detect small targets from UAV remote sensing images. The proposed RTSTD crops an input image into multiple small-size images， and feeds a portion of these small-size images into the lightweight MMFE network. Therefore， RTSTD has the capability to handle remote sensing images of arbitrary resolutions without losing image features. A more effective output is proposed for the MMFE network： an overlap vector that represents the position and confidence of the target in the input image. To enhance the MMFE network’s ability to distinguish targets from complex backgrounds， the positive and negative samples are redefined. To test the performance of RTSTD， seven datasets are selected and reconstructed from UAV123， DTB70 and AU-AIR， comprising a total of 8，369 UAV remote sensing images involving small target detection in the ground and sea scenarios. The experimental results demonstrate that compared to existing detection methods， the RTSTD method achieves improvements in both accuracy and speed. It achieves an F-Score of 0.90 or above， with a running speed of over 66 frames per second （FPS） using GPU acceleration and over 35 FPS using only CPU.

Key words: remote sensing image, small target detection, real-time detection, convolutional neural network, feature fusion

中图分类号:

V279

刘延芳, 佘佳宇, 袁秋帆, 周芮, 齐乃明. 无人机遥感图像实时小目标检测方法[J]. 航空学报, 2024, 45(14): 630119-630119.

Yanfang LIU, Jiayu SHE, Qiufan YUAN, Rui ZHOU, Naiming QI. Real⁃time small target detection networks for UAV remote sensing[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(14): 630119-630119.

图/表 17

图 1

图 2

图 3

图 4

图 5

图 6

表 1

不同大小ℐs对应的MMFE网络结构

$C i, j m$	$c i, j m$	$k i, j m$	$s i, j m$	$p i, j m$
$C i, j m$	$c i, j m$	$k i, j m$	$s i, j m$	64×64	72×72	80×80	88×88	96×96
$C 1,0 1$	8	3	3	1	1	1	1	1
$C 1,0 2$	8	7	3	3	3	3	3	3
$C 2,0 1$	12	6	6	2	3	3	3	0
$C 2,1 1$	12	3	2	1	1	1	1	1
$C 2,1 2$	12	7	2	3	3	3	3	3
$C 3,1 1$	16	4	4	1	2	2	2	0
$C 3,1 2$	16	8	4	2	4	4	4	2
$C 3,2 1$	16	3	2	1	1	1	1	1
$C 3,2 2$	16	7	2	3	3	3	3	3
$C 4,2 1$	20	4	4	3	2	2	3	0
$C 4,2 2$	20	8	4	5	4	4	5	2
$C 4,3 1$	20	3	2	2	1	1	2	1
$C 4,3 2$	20	7	2	4	3	3	4	3
$C 5,4 1$	4	4	1	0	0	0	0	0

表 1

表 2

数据集信息

名称	训练集	验证集	测试集	$I o$ 尺寸	目标尺寸
UAV-1	2 187	729	729	426×240	45.69±10.39
UAV-1	324	108	108	426×240	32.37±7.81
UAV-1	539	180	180	1 280×720	28.58±2.69
UAV-1	390	130	130	1 280×720	44.44±4.98
UAV-1	578	192	192	1 280×720	24.19±5.98
DTB70	303	101	101	1 280×720	42.23±17.46
AU-AIR	700	234	234	640×360	44.96±13.26

表 2

图 7

表 3

基于UAV⁃3的消融实验

方法	F1-Score	FPS GPU/CPU	IoU
MMFE64+50%+ $o ̂$ +PN	0.994	63.5/39.3	0.74
MMFE64+50%+ $b ̂$ +PN	0.944	65.0/35.3	0.71
MMFE64+50%+ $o ̂$	0.944	59.2/35.1	0.68
MMFE72+50%+ $o ̂$ +PN	0.994	65.7/42.1	0.76
MMFE72+50%+ $b ̂$ +PN	0.967	62.0/38.4	0.77
MMFE72+50%+ $o ̂$	0.986	64.9/38.3	0.71
MMFE80+50%+ $o ̂$ +PN	0.988	66.3/40.1	0.75
MMFE80+50%+ $b ̂$ +PN	0.970	66.5/37.2	0.73
MMFE80+50%+ $o ̂$	0.988	67.6/38.6	0.71
MMFE88+50%+ $o ̂$ +PN	0.991	68.4/40.8	0.76
MMFE8+50%+ $b ̂$ +PN	0.980	69.1/38.0	0.77
MMFE88+50%+ $o ̂$	0.988	68.1/36.4	0.71
MMFE96+12.5%+ $o ̂$ +PN	0.994	48.1/46.2	0.71
MMFE96+12.5%+ $b ̂$ +PN	0.988	50.3/40.9	0.70
MMFE96+12.5%+ $o ̂$	0.991	50.2/43.3	0.64
MMFE96+25%+ $o ̂$ +PN	0.991	64.1/ 52.1	0.71
MMFE96+25%+ $b ̂$ +PN	0.972	68.6/46.8	0.72
MMFE96+25%+ $o ̂$	0.991	63.9/49.4	0.63
MMFE96+50%+ $o ̂$ +PN	0.991	73.4/42.2	0.70
MMFE96+50%+ $b ̂$ +PN	0.959	71.6/38.9	0.75
MMFE96+50%+ $o ̂$	0.986	72.6/37.6	0.65
MMFE96+100%+ $o ̂$ +PN	0.988	72.9/31.2	0.71
MMFE96+100%+ $b ̂$ +PN	0.927	68.4/27.3	0.78
MMFE96+100%+ $o ̂$	0.978	68.1/27.8	0.66

表 3

图 8

图 9

表 4

RTSTD与其他检测方法的检测效果

方法	F1-Score							FPS GPU/CPU							IoU
方法	UAV-1	UAV-2	UAV-3	UAV-4	UAV-5	DTB70	AU-AIR	UAV-1	UAV-2	UAV-3	UAV-4	UAV-5	DTB70	AU-AIR	UAV-1	UAV-2	UAV-3	UAV-4	UAV-5	DTB70	AU-AIR
MMFE64+12.5%	0.993	0.967	0.991	0.984	0.978	0.960	0.851	77.8/119.4	68.3/106.6	47.7/39.2	46.3/44.5	28.9/26.4	51.2/45.0	67.5/64.4	0.68	0.52	0.72	0.74	0.68	0.59	0.60
MMFE64+25%	0.991	0.962	0.994	0.988	0.978	0.951	0.891	127.0/171.5	116.0/142.4	59.7/46.2	60.3/52.0	42.9/33.6	60.3/54.2	100.5/95.1	0.68	0.53	0.72	0.74	0.68	0.62	0.62
MMFE64+50%	0.991	0.958	0.994	0.984	0.978	0.966	0.905	161.6/183.3	157.1/150.4	63.5/39.3	63.9/39.7	52.2/30.5	62.4/40.0	116.8/95.7	0.69	0.53	0.74	0.76	0.68	0.61	0.64
MMFE64+100%	0.986	0.932	0.988	0.973	0.980	0.934	0.929	172.1/154.1	172.4/140.4	63.0/27.7	61.7/27.2	57.7/27.0	57.8/27.3	119.1/84.8	0.70	0.53	0.75	0.77	0.68	0.64	0.67
MMFE72+12.5%	0.997	0.948	0.994	0.984	0.914	0.956	0.852	94.9/148.1	78.3/112.8	49.1/44.5	48.1/45.5	25.8/26.6	51.2/48.3	59.3/63.3	0.65	0.48	0.73	0.63	0.64	0.60	0.62
MMFE72+25%	0.995	0.943	0.994	0.981	0.912	0.965	0.858	136.3/177.7	127.2/145.4	57.7/50.3	60.0/51.7	40.5/33.7	62.8/52.3	88.9/96.4	0.65	0.48	0.74	0.60	0.64	0.61	0.63
MMFE72+50%	0.993	0.914	0.994	0.984	0.916	0.961	0.881	167.5/196.7	160.5/153.7	65.7/42.1	66.6/37.5	50.9/31.4	62.0/42.9	106.8/101.3	0.67	0.49	0.76	0.61	0.64	0.62	0.64
MMFE72+100%	0.985	0.889	0.991	0.959	0.916	0.947	0.926	168.9/158.6	171.2/149.0	63.9/30.0	63.6/29.9	59.2/29.7	61.0/30.3	115.0/90.5	0.69	0.51	0.77	0.66	0.64	0.62	0.65
MMFE80+12.5%	0.994	0.986	0.991	0.992	0.937	0.956	0.847	78.0/129.0	65.8/94.2	27.6/28.8	46.5/43.3	27.6/28.8	46.3/48.0	66.8/85.1	0.62	0.53	0.74	0.71	0.64	0.60	0.62
MMFE80+25%	0.990	0.981	0.994	0.984	0.946	0.956	0.868	120.7/173.0	117.5/127.3	60.0/49.4	69.3/52.1	43.0/35.6	60.5/54.8	87.6/102.0	0.63	0.55	0.75	0.72	0.64	0.64	0.63
MMFE80+50%	0.981	0.963	0.988	0.984	0.942	0.975	0.909	168.3/201.2	163.2/169.2	66.3/40.1	70.9/44.7	54.0/33.3	67.1/45.1	107.3/101.9	0.64	0.55	0.75	0.74	0.64	0.64	0.65
MMFE80+100%	0.962	0.955	0.986	0.973	0.943	0.961	0.942	173.2/170.7	173.9/156.3	67.0/31.3	64.6/31.0	62.0/31.8	63.6/30.9	118.6/87.0	0.65	0.55	0.77	0.77	0.64	0.65	0.67
MMFE88+12.5%	0.981	0.986	0.994	0.992	0.962	0.960	0.858	46.25/82.1	44.0/77.3	45.8/44.3	49.6/45.4	26.1/26.3	51.9/46.6	72.7/84.9	0.62	0.47	0.75	0.72	0.62	0.60	0.64
MMFE88+25%	0.977	0.977	0.994	0.992	0.963	0.966	0.898	103.7/155.6	94.7/136.0	61.6/53.9	63.8/52.9	37.4/32.4	61.5/56.4	97.3/101.9	0.62	0.47	0.75	0.72	0.62	0.59	0.63
MMFE88+50%	0.975	0.972	0.991	0.992	0.963	0.951	0.915	158.0/186.2	152.0/159.7	68.4/40.8	68.3/43.9	46.6/30.8	65.7/43.3	113.4/99.3	0.63	0.47	0.76	0.72	0.62	0.60	0.64
MMFE88+100%	0.961	0.955	0.991	0.992	0.963	0.952	0.951	172.2/163.9	163.0/145.0	67.8/29.5	68.1/29.4	62.0/29.1	61.3/29.7	115.2/77.8	0.64	0.49	0.76	0.73	0.62	0.61	0.67
MMFE96+12.5%	0.967	0.986	0.994	0.988	0.910	0.955	0.840	56.0/93.0	55.9/78.9	48.1/46.2	54.6/44.7	29.1/28.2	46.2/47.4	65.4/79.4	0.62	0.41	0.71	0.73	0.62	0.57	0.60
MMFE96+25%	0.960	0.972	0.991	0.988	0.901	0.961	0.860	118.2/152.4	107.5/139.8	64.1/52.1	64.6/52.6	44.9/35.1	66.9/54.2	102.0/98.3	0.62	0.40	0.71	0.72	0.62	0.58	0.63
MMFE96+50%	0.954	0.930	0.991	0.984	0.910	0.956	0.887	166.3/188.3	160.3/153.7	73.4/42.2	73.2/46.5	54.7/32.9	71.3/45.3	117.4/95.7	0.63	0.42	0.70	0.73	0.62	0.59	0.62
MMFE96+100%	0.939	0.902	0.988	0.984	0.907	0.943	0.928	180.2/163.5	180.5/141.8	72.9/31.2	71.3/30.7	66.1/30.8	66.8/31.9	129.1/92.1	0.64	0.44	0.71	0.76	0.62	0.60	0.64
YOLOv3	0.958	0.915	0.851	0.825	0.958	0.687	0.865	32.2/2.3	23.1/1.9	25.6/2.0	24.9/2.1	20.9/1.8	20.8/1.9	22.5/1.9	0.87	0.90	0.84	0.86	0.81	0.81	0.87
YOLOv5	0.994	0.990	0.994	0.992	0.860	0.990	0.990	54.8/19.8	55.1/18.0	54.6/18.3	53.2/18.4	47.8/17.8	55.5/18.0	39.2/17.8	0.96	0.97	0.96	0.86	0.65	0.65	0.73
YOLOv8	0.998	0.986	0.994	0.992	0.966	0.980	0.973	46.9/15.8	48.1/15.9	45.6/15.8	45.7/15.6	42.4/15.4	39.1/14.8	38.3/14.6	0.98	0.98	0.98	0.98	0.88	0.85	0.90
SSD	0.994	0.990	0.983	0.988	0.972	0.943	0.965	17.2/3.3	17.2/3.3	17.3/3.3	17.2/3.3	13.3/3.3	11.1/3.2	7.0/3.0	0.96	0.94	0.86	0.89	0.78	0.81	0.85
Faster-RCNN	0.998	0.953	0.983	0.823	0.711	0.530	0.946	9.6/0.3	8.5/0.3	9.1/0.3	8.6/0.3	8.0/0.3	2.63/0.2	6.7/0.3	0.93	0.80	0.90	0.75	0.66	0.40	0.81
FCOS	0.990	0.990	0.980	0.988	0.974	0.971	0.981	8.1/0.3	7.8/0.4	7.8/0.4	7.9/0.4	7.6/0.3	7.4/0.3	7.0/0.3	0.98	0.98	0.98	0.98	0.80	0.80	0.85
RetinaNet	0.998	0.986	0..750	0.992	0.589	0.882	0.993	5.9/0.9	6.3/0.9	5.9/0.9	5.5/0.9	5.2/0.9	4.6/0.8	4.6/0.8	0.99	0.99	0.99	0.99	0.89	0.85	0.88

表 4

图 10

图 11

表 5

图 12

参考文献 56

1	XU C， XU M， YIN C J. Optimized multi-UAV cooperative path planning under the complex confrontation environment［J］. Computer Communications， 2020， 162： 196-203.
2	PIERUCCI L， BOCCHI L. Improvements of radar clutter classification in air traffic control environment［C］∥ 2007 IEEE International Symposium on Signal Processing and Information Technology. Piscataway： IEEE Press， 2007： 721-724.
3	YU X H， GONG Y Q， JIANG N， et al. Scale match for tiny person detection［C］∥ 2020 IEEE Winter Conference on Applications of Computer Vision （WACV）. Piscataway： IEEE Press， 2020： 1246-1254.
4	CASBEER D W， KINGSTON D B， BEARD R W， et al. Cooperative forest fire surveillance using a team of small unmanned air vehicles［J］. International Journal of Systems Science， 2006， 37（6）： 351-360.
5	MADEMLIS I， MYGDALIS V， NIKOLAIDIS N， et al. High-level multiple-UAV cinematography tools for covering outdoor events［J］. IEEE Transactions on Broadcasting， 2019， 65（3）： 627-635.
6	KELLENBERGER B， MARCOS D， TUIA D. Detecting mammals in UAV images： Best practices to address a substantially imbalanced dataset with deep learning［J］. Remote Sensing of Environment， 2018， 216： 139-153.
7	ZHANG L D， PENG Z M. Infrared small target detection based on partial sum of the tensor nuclear norm［J］. Remote Sensing， 2019， 11（4）： 382.
8	LI B Y， XIAO C， WANG L G， et al. Dense nested attention network for infrared small target detection［J］. IEEE Transactions on Image Processing， 2023， 32： 1745-1758.
9	NASRABADI N M. DeepTarget： An automatic target recognition using deep convolutional neural networks［J］. IEEE Transactions on Aerospace and Electronic Systems， 2019， 55（6）： 2687-2697.
10	RAZAVIAN A S， AZIZPOUR H， SULLIVAN J， et al. CNN features off-the-shelf： An astounding baseline for recognition［C］∥ 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE Press， 2014： 512-519.
11	GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation［C］∥ Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. New York： ACM， 2014： 580-587.
12	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
13	HE K M， GKIOXARI G， DOLLÁR P， et al. Mask R-CNN［C］∥ 2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 2980-2988.
14	DING J， XUE N， LONG Y， et al. Learning RoI transformer for oriented object detection in aerial images［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2019： 2844-2853.
15	XIE X X， CHENG G， WANG J B， et al. Oriented R-CNN for object detection［C］∥ 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2021： 3500-3509.
16	XU Y C， FU M T， WANG Q M， et al. Gliding vertex on the horizontal bounding box for multi-oriented object detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（4）： 1452-1459.
17	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection［C］∥ 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2016： 779-788.
18	REDMON J， FARHADI A. YOLOv3： An incremental improvement［EB/OL］. 2018： arXiv： 1804.02767.
19	BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： optimal speed and accuracy of object detection［EB/OL］. 2020： arXiv： .
20	TAN L， LV X Y， LIAN X F， et al. YOLOv4_Drone： UAV image target detection based on an improved YOLOv4 algorithm［J］. Computers & Electrical Engineering， 2021， 93： 107261.
21	ZHU X K， LYU S C， WANG X， et al. TPH-YOLOv5： Improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios［C］∥ 2021 IEEE/CVF International Conference on Computer Vision Workshops （ICCVW）. Piscataway： IEEE Press， 2021： 2778-2788.
22	CAO S H， WANG T， LI T， et al. UAV small target detection algorithm based on an improved YOLOv5s model［J］. Journal of Visual Communication and Image Representation， 2023， 97： 103936.
23	奉志强，谢志军，包正伟，等. 基于改进YOLOv5的无人机实时密集小目标检测算法［J］. 航空学报， 2023， 44（7）： 327106.
	FENG Z Q， XIE Z J， BAO Z W， et al. Real-time dense small object detection algorithm for UAV based on improved YOLOv5［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（7）： 327106 （in Chinese）.
24	REIS D， KUPEC J， HONG J， et al. Real-time flying object detection with YOLOv8［J］. ArXiv e-Prints， 2023： arXiv： .
25	LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot MultiBox detector［C］∥European Conference on Computer Vision. Cham： Springer， 2016： 21-37.
26	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 936-944.
27	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［C］∥2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 2999-3007.
28	TIAN Z， SHEN C H， CHEN H， et al. FCOS： Fully convolutional one-stage object detection［C］∥2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2019： 9626-9635.
29	YANG F， FAN H， CHU P， et al. Clustered object detection in aerial images［C］∥2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2019： 8310-8319.
30	ZHANG P， ZHANG Y E， HUANG Y， et al. SAR fast target imaging in sparse field based on AlexNet［C］∥2021 IEEE Radar Conference （RadarConf21）. Piscataway： IEEE Press， 2021： 1-6.
31	LIU Z G， LI D Y， GE S S， et al. Small traffic sign detection from large image［J］. Applied Intelligence， 2020， 50（1）： 1-13.
32	LIU Z G， DU J， TIAN F， et al. MR-CNN： A multi-scale region-based convolutional neural network for small traffic sign recognition［J］. IEEE Access， 2019， 7： 57120-57128.
33	DUAN K W， DU D W， QI H G， et al. Detecting small objects using a channel-aware deconvolutional network［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2020， 30（6）： 1639-1652.
34	LENG J X， LIU Y， DU D W， et al. Robust obstacle detection and recognition for driver assistance systems［J］. IEEE Transactions on Intelligent Transportation Systems， 2020， 21（4）： 1560-1571.
35	WILMS C， FRINTROP S. AttentionMask： Attentive， efficient object proposal generation focusing on small objects［C］∥Asian Conference on Computer Vision. Cham： Springer， 2019： 678-694.
36	CHEN Z G， WU K H， LI Y B， et al. SSD-MSN： An improved multi-scale object detection network based on SSD［J］. IEEE Access， 2019， 7： 80622-80632.
37	LI C L， YANG T， ZHU S J， et al. Density map guided object detection in aerial images［C］∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway： IEEE Press， 2020： 737-746.
38	李红艳，李春庚，安居白，等. 注意力机制改进卷积神经网络的遥感图像目标检测［J］. 中国图象图形学报， 2019， 24（8）： 1400-1408.
	LI H Y， LI C G， AN J B， et al. Attention mechanism improves CNN remote sensing image object detection［J］. Journal of Image and Graphics， 2019， 24（8）： 1400-1408 （in Chinese）.
39	李子豪，王正平，贺云涛. 基于自适应协同注意力机制的航拍密集小目标检测算法［J］. 航空学报， 2023， 44（13）： 327944.
	LI Z H， WANG Z P， HE Y T. Aerial-photography dense small target detection algorithm based on adaptive cooperative attention mechanism［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（13）： 327944 （in Chinese）.
40	WANG J Q， CHEN K， YANG S， et al. Region proposal by guided anchoring［C］∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2019： 2960-2969.
41	JIANG B R， LUO R X， MAO J Y， et al. Acquisition of localization confidence for accurate object detection［C］∥Computer Vision⁃ECCV 2018： 15th European Conference， New York： ACM， 2018： 816–832.
42	李红光，于若男，丁文锐. 基于深度学习的小目标检测研究进展［J］. 航空学报， 2021， 42（7）： 024691.
	LI H G， YU R N， DING W R. Research development of small object traching based on deep learning［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（7）： 024691 （in Chinese）.
43	ZHAO B Y， WU Y F， GUAN X R， et al. An improved aggregated-mosaic method for the sparse object detection of remote sensing imagery［J］. Remote Sensing， 2021， 13（13）： 2602.
44	PENG H， TAN X D. Improved YOLOX’s anchor-free SAR image ship target detection［J］. IEEE Access， 2022， 10： 70001-70015.
45	LE H， BORJI A. What are the receptive， effective receptive， and projective fields of neurons in convolutional neural networks？［EB/OL］. （2017-05-17）. .
46	LUO W J， LI Y J， URTASUN R， et al. Understanding the effective receptive field in deep convolutional neural networks［C］∥Proceedings of the 30th International Conference on Neural Information Processing Systems. New York： ACM， 2016： 4905–4913.
47	DING X H， ZHANG X Y， HAN J G， et al. Scaling up your kernels to 31 × 31： Revisiting large kernel design in CNNs［C］v2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 11953-11965.
48	SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions［C］∥2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2015： 1-9.
49	ZHAO Q J， SHENG T， WANG Y T， et al. M2Det： A single-shot object detector based on multi-level feature pyramid network［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2019， 33（1）： 9259-9266.
50	ZHANG G， LI Z Y， LI J M， et al. CFNet： Cascade fusion network for dense prediction［EB/OL］. arXiv preprint： 2302.06052， 2023.
51	HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely connected convolutional networks［C］∥ 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 2261-2269.
52	XIA G S， BAI X， DING J， et al. DOTA： A large-scale dataset for object detection in aerial images［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 3974-3983.
53	LAM D， KUZMA R， MCGEE K， et al. xView： Objects in context in overhead imagery［DB/OL］. arXiv preprint： 1802.07856， 2018.
54	MUELLER M， SMITH N， GHANEM B. A benchmark and simulator for UAV tracking［C］∥European Conference on Computer Vision. Cham： Springer， 2016： 445-461.
55	LI S Y， YEUNG D Y. Visual object tracking for unmanned aerial vehicles： A benchmark and new motion models［C］∥Proceedings of the AAAI Conference on Artificial Intelligence， 2017.
56	BOZCAN I， KAYACAN E. AU-AIR： A multi-modal unmanned aerial vehicle dataset for low altitude traffic surveillance［C］∥ 2020 IEEE International Conference on Robotics and Automation （ICRA）. Piscataway： IEEE Press， 2020： 8504-8510.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

方法	分类	代表性贡献	年份	参数量/M
Faster-RCNN	两阶段	RPN网络	2015	41.299
SSD	一阶段	多尺度预测	2016	23.746
YOLOv3	一阶段	多尺度预测、残差结构	2018	61.949
RetinaNet	一阶段	Focal Loss平衡正负样本	2018	36.320
FCOS	一阶段	Anchor-Free、Center-Ness	2019	32.062
YOLOv5	一阶段	数据增强、自适应AnchorFocus结构、CSPNet	2020	2.947
YOLOv8	一阶段	Anchor-Free、分类检测解耦正样本分配策略	2023	5.049
RTSTD	一阶段	裁剪策略、MMFE网络正负样本定义、重叠向量	2024	0.069

[1]	赵其昌, 吴一全, 苑玉彬. 光学遥感图像舰船目标检测与识别方法研究进展[J]. 航空学报, 2024, 45(8): 29025-029025.
[2]	王子玲, 熊振宇, 杨璐铖, 杨蕊宁, 黄林周. AIS和光学遥感图像引导的星载SAR舰船目标识别网络[J]. 航空学报, 2024, 45(2): 328672-328672.
[3]	于傲泽, 魏维伟, 王平, 张金强, 柯文雄. 基于分块复合注意力的无人机小目标检测算法[J]. 航空学报, 2024, 45(14): 629148-629148.
[4]	王潇, 刘贞报. 基于多层多向Transformer的红外弱小目标检测[J]. 航空学报, 2024, 45(14): 629490-629490.
[5]	李峻宇, 刘乾坤, 付莹. 融合注意力机制的红外小目标检测[J]. 航空学报, 2024, 45(14): 628959-628959.
[6]	陈立群, 邹旭, 张磊, 朱颖盼, 王港, 陈金勇. 基于国产商用器件的星载智能目标检测技术[J]. 航空学报, 2023, 44(S2): 728860-728860.
[7]	奉志强, 谢志军, 包正伟, 陈科伟. 基于改进YOLOv5的无人机实时密集小目标检测算法[J]. 航空学报, 2023, 44(7): 327106-327106.
[8]	何磊, 钱炜祺, 董康生, 易贤, 柴聪聪. 基于卷积神经网络的结冰翼型气动特性建模[J]. 航空学报, 2023, 44(5): 126434-126434.
[9]	冒国韬, 邓天民, 于楠晶. 基于多尺度分割注意力的无人机航拍图像目标检测算法[J]. 航空学报, 2023, 44(5): 326738-326738.
[10]	熊振宇, 崔亚奇, 董凯, 李孟洋, 熊伟. 基于属性引导的多源遥感舰船目标可解释融合关联网络[J]. 航空学报, 2023, 44(22): 627476-627476.
[11]	李晓航, 周建江. 基于自适应记忆长度的多尺度模态融合网络[J]. 航空学报, 2023, 44(22): 628977-628977.
[12]	李子豪, 王正平, 贺云涛. 基于自适应协同注意力机制的航拍密集小目标检测算法[J]. 航空学报, 2023, 44(13): 327944-327944.
[13]	王强, 吴乐天, 王勇, 王欢, 杨万扣. 基于关键点检测的红外弱小目标检测[J]. 航空学报, 2023, 44(10): 328173-328173.
[14]	薛远亮, 金国栋, 谭力宁, 许剑锟. 基于多尺度融合的自适应无人机目标跟踪算法[J]. 航空学报, 2023, 44(1): 326107-326107.
[15]	王子玲, 熊振宇, 顾祥岐. 可见光与SAR多源遥感图像关联学习算法[J]. 航空学报, 2022, 43(S1): 727239-727239.

无人机遥感图像实时小目标检测方法

Real⁃time small target detection networks for UAV remote sensing

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 17

参考文献 56

相关文章 15

编辑推荐

Metrics

本文评价