面向反制无人机集群的多目标连续鲁棒跟踪算法

doi:10.7527/S1000-6893.2023.29017

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

面向反制无人机集群的多目标连续鲁棒跟踪算法

王传云¹, 苏阳², 王琳霖¹, 王田³, 王静静⁴, 高骞¹()

^1.沈阳航空航天大学人工智能学院，沈阳　110136
^2.沈阳航空航天大学计算机学院，沈阳　110136
^3.北京航空航天大学人工智能研究院，北京　100191
^4.中国电子科技集团公司电子科学研究院，北京　100041

收稿日期:2023-05-19 修回日期:2023-07-20 接受日期:2023-08-17 出版日期:2024-04-15 发布日期:2023-09-01
通讯作者: 高骞 E-mail:gaoqian@buaa.edu.cn
基金资助:
国家自然科学基金(61703287);辽宁省教育厅科学研究项目(LJKZ0218);沈阳市中青年科技创新人才项目(RC210401);沈阳航空航天大学引进人才科研启动基金(22YB03)

Multi-object continuous robust tracking algorithm for anti-UAV swarm

Chuanyun WANG¹, Yang SU², Linlin WANG¹, Tian WANG³, Jingjing WANG⁴, Qian GAO¹()

^1.College of Artificial Intelligence，Shenyang Aerospace University，Shenyang 　110136，China
^2.College of Computer Science，Shenyang Aerospace University，Shenyang 　110136，China
^3.Institute of Artificial Intelligence，Beihang University，Beijing 　100191，China
^4.China Academy of Electronics and Information Technology，CTEC，Beijing 　100041，China

Received:2023-05-19 Revised:2023-07-20 Accepted:2023-08-17 Online:2024-04-15 Published:2023-09-01
Contact: Qian GAO E-mail:gaoqian@buaa.edu.cn
Supported by:
National Natural Science Foundation of China(61703287);Scientific Research Project of Liaoning Provincial Department of Education(LJKZ0218);Young and middle-aged Science and Technology Innovation Talents Project of Shenyang(RC210401);Doctoral Scientific Research Foundation of Shenyang Aerospace University(22YB03)

摘要/Abstract

摘要：

无人机（UAV）集群作战正朝着智能化、实战化迅猛发展，将在未来战场上造成巨大威胁，面向反制无人机集群的探测与跟踪研究势在必行。针对在复杂场景及远距离探测条件下无人机集群目标之间相互遮挡、无人机为弱小目标等原因造成的检测精度降低和跟踪精度降低问题，本文提出的无人机集群多目标（UAVS-MOT）连续鲁棒跟踪算法可以有效解决。UAVS-MOT模型基于FairMOT模型的多分支无锚框预测结构，将坐标注意力模块与DLA-34网络相结合，构建了全新的主干特征提取网络以提升特征信息的表达能力。此外，引入全新的ArcFace Loss损失函数进行训练以提高模型的收敛速度，并利用BYTE数据关联方法以降低目标漏检率和提高轨迹的连贯性。实验表明，本文提出的UAVS-MOT多目标跟踪算法在UAVSwarm Dataset上的多目标跟踪准确度（MOTA）和目标识别准确度（IDF1）分别为73.4%与76.1%，相比原有FairMOT算法分别提升5.7%与2.9%，可以解决目标的漏检、误检和跟踪精度低的问题，鲁棒性好。

关键词: 多目标跟踪, 无人机集群, FairMOT, 注意力机制, 反制

Abstract:

Unmanned Aerial Vehicle （UAV） swarm warfare is rapidly developing towards intelligence and practicality， which will pose a huge threat on the future battlefield. Therefore， research on detection and tracking of anti-UAV swarm is imperative. To solve the problems of reduced detection and tracking accuracy caused by mutual occlusion between UAV swarm and weak targets in complex scenes and long-distance detection conditions， this paper proposes a UAVS-Multiple Object Tracking （UAVS-MOT） multi-object continuous robust tracking algorithm. The UAVS-MOT model is based on the multi-branch anchor-free frame prediction structure of the FairMOT model. The coordinate attention module is combined with the DLA-34 network to construct a new backbone feature extraction network， so as to improve the expression ability of feature information. In addition， the new ArcFace Loss function is introduced for training to improve the convergence rate of the model， and the BYTE data association method is used to reduce the target miss rate and improve the track consistency. The experiment shows that the Multiple Object Tracking Accuracy （MOTA） and Identity F1 Score （IDF1） of the proposed algorithm on the UAVSwarm Dataset are 73.4% and 76.1%， respectively， which are 5.7% and 2.9% higher than those of the original FairMOT algorithm. The proposed method can solve the problems of missed and false detection of targets and low tracking accuracy， and has good robustness.

Key words: multiple object tracking, UAV swarm, FairMOT, attention mechanism, anti

中图分类号:

V279

王传云, 苏阳, 王琳霖, 王田, 王静静, 高骞. 面向反制无人机集群的多目标连续鲁棒跟踪算法[J]. 航空学报, 2024, 45(7): 329017-329017.

Chuanyun WANG, Yang SU, Linlin WANG, Tian WANG, Jingjing WANG, Qian GAO. Multi-object continuous robust tracking algorithm for anti-UAV swarm[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(7): 329017-329017.

图/表 13

图 1

图 2

表 1

表 2

图 3

表 3

图 4

图 5

图 6

图 7

表 4

图 8

图 9

参考文献 24

1	刘雷，刘大卫，王晓光，等. 无人机集群与反无人机集群发展现状及展望［J］. 航空学报， 2022， 43（S1）： 726908.
	LIU L， LIU D W， WANG X G， et al. Development status and prospect of UAV cluster and anti-UAV cluster［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（S1）： 726908 （in Chinese）.
2	周末，孙海文，王亮，等. 国外反无人机蜂群作战研究［J］. 指挥控制与仿真， 2023， 45（2）： 24-30.
	ZHOU M， SUN H W， WANG L， et al. Research on foreign anti-UAV swarm warfare［J］. Command Control & Simulation， 2023， 45（2）： 24-30 （in Chinese）.
3	谢海斌，闫家鼎，庄东晔，等. 无人机集群反制技术剖析［J］. 国防科技， 2021， 42（4）： 10-16.
	XIE H B， YAN J D， ZHUANG D Y， et al. Analysis of countermeasures against the UAV swarm［J］. National Defense Technology， 2021， 42（4）： 10-16 （in Chinese）.
4	罗俊海，王芝燕. 无人机探测与对抗技术发展及应用综述［J］. 控制与决策， 2022， 37（3）： 530-544.
	LUO J H， WANG Z Y. A review of development and application of UAV detection and counter technology［J］. Control and Decision， 2022， 37（3）： 530-544 （in Chinese）.
5	龚轩，乐孜纯，王慧，等. 多目标跟踪中的数据关联技术综述［J］. 计算机科学， 2020， 47（10）： 136-144.
	GONG X， LE Z C， WANG H， et al. Survey of data association technology in multi-target tracking［J］. Computer Science， 2020， 47（10）： 136-144 （in Chinese）.
6	HE Y H， WEI X， HONG X P， et al. Multi-target multi-camera tracking by tracklet-to-target assignment［J］. IEEE Transactions on Image Processing， 2020， 29： 5191-5205.
7	PENG J L， WANG C G， WAN F B， et al. Chained-tracker： Chaining paired attentive regression results for end-to-end joint multiple-object detection and tracking［C］∥European Conference on Computer Vision. Cham： Springer， 2020： 145-161.
8	BEWLEY A， GE Z Y， OTT L， et al. Simple online and realtime tracking［C］∥ 2016 IEEE International Conference on Image Processing （ICIP）. Piscataway： IEEE Press， 2016： 3464-3468.
9	VEERAMANI B， RAYMOND J W， CHANDA P. DeepSort： Deep convolutional networks for sorting haploid maize seeds［J］. BMC Bioinformatics， 2018， 19（S9）： 289.
10	ZHANG Y F， SUN P Z， JIANG Y， et al. ByteTrack： Multi-object tracking by associating every detection box［C］∥European Conference on Computer Vision. Cham： Springer Cham， 2022： 1-21.
11	ZHANG Y F， WANG C Y， WANG X G， et al. FairMOT： On the fairness of detection and re-identification in multiple object tracking［J］. International Journal of Computer Vision， 2021， 129（11）： 3069-3087.
12	HOU Q B， ZHOU D Q， FENG J S. Coordinate attention for efficient mobile network design［C］∥ 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 13708-13717.
13	DENG J K， GUO J， XUE N N， et al. ArcFace： Additive angular margin loss for deep face recognition［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2019： 4685-4694.
14	YU F， WANG D Q， SHELHAMER E， et al. Deep layer aggregation［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 2403-2412.
15	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］∥ 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 936-944.
16	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 7132-7141.
17	WOO S， PARK J， LEE J Y， et al. CBAM： Convolutional block attention module［C］∥ European Conference on Computer Vision. Cham： Springer， 2018： 3-19.
18	ZHOU X Y， KOLTUN V， KRÄHENBÜHL P. Tracking objects as points［M］∥ VEDALDI A， BISCHOF H， BROX T， et al， ed. Computer Vision-ECCV 2020. Cham： Springer International Publishing， 2020： 474-490.
19	CIPOLLA R， GAL Y， KENDALL A. Multi-task learning using uncertainty to weigh losses for scene geometry and semantics［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 7482-7491.
20	WANG C Y， SU Y， WANG J J， et al. UAVSwarm dataset： An unmanned aerial vehicle swarm dataset for multiple object tracking［J］. Remote Sensing， 2022， 14（11）： 2601.
21	LEAL-TAIXÉ L， MILAN A， REID I， et al. MOTChallenge 2015： Towards a benchmark for multi-target tracking［DB/OL］. arXiv preprint： 1504.01942， 2015.
22	BERNARDIN K， STIEFELHAGEN R. Evaluating multiple object tracking performance： The CLEAR MOT metrics［J］. Journal on Image and Video Processing， 2008， 2008： 1.
23	RISTANI E， SOLERA F， ZOU R， et al. Performance measures and a data set for Multi-target， multi-camera tracking［M］∥ Lecture Notes in Computer Science. Cham： Springer International Publishing， 2016： 17-35.
24	LI Y， HUANG C， NEVATIA R. Learning to associate： Hybrid Boosted multi-target tracker for crowded scene［C］∥ 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2009： 2953-2960.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

名称	性能指标
系统	Ubuntu18.0.4
内存	16 GB
CPU	InterCore i7-9700k
显卡	NVIDIA GeForce RTX 2080Ti
CUDA	CUDA10.0
Python	Python3.6
Pytorch	Pytorch1.10

评价指标	指标含义
MOTA（↑）	多目标跟踪准确度
IDF1（↑）	目标识别准确度
IDS（↓）	目标ID发生切换的次数
FP（↓）	误检总数
FN（↓）	漏检总数
MT（↑）	至少80%的帧数被正确跟踪的轨迹数量或百分比
ML（↓）	低于20%的帧数被正确跟踪的轨迹数量或百分比

模型	FairMOT	CA	ArcFace	BYTE	MOTA（↑）/%	IDF1（↑）/%	FN（↓）	MT（↑）	ML（↓）	Recall（↑）/%
A	√				67.7	73.2	8 342	176	67	77.4
B	√	√			70.3	74.2	7 808	188	54	78.9
C	√	√	√		71.3	74.7	6 689	199	57	81.9
D（本文模型）	√	√	√	√	73.4	76.1	6 306	196	47	82.8

模型	MOTA（↑）/%	IDF1（↑）/%	IDS（↓）	FP（↓）	FN（↓）	MT（↑）	ML（↓）	Recall（↑）/%
CTrackerV1	46.5	50.7	598	3 429	16 283	119	102	57.1
SORT	59.0	67.0	163	2 175	13 236	149	84	65.1
DeepSORT	61.2	70.3	221	4 375	10 145	169	49	73.3
ByteTrack	65.0	76.5	67	2 878	10 331	175	63	72.8
FairMOT （Baseline）	67.7	73.2	590	2 982	8 342	176	67	77.4
UAVS-MOT（本文方法）	73.4	76.1	740	2 701	6 306	196	47	82.8

[1]	蔡云鹏, 周大鹏, 丁江川. 具有防撞安全约束的无人机集群智能协同控制[J]. 航空学报, 2024, 45(5): 529683-529683.
[2]	甘纪强, 王小平. 基于虚拟样本生成的铺丝表面缺陷检测[J]. 航空学报, 2024, 45(1): 428624-428624.
[3]	奉志强, 谢志军, 包正伟, 陈科伟. 基于改进YOLOv5的无人机实时密集小目标检测算法[J]. 航空学报, 2023, 44(7): 327106-327106.
[4]	冒国韬, 邓天民, 于楠晶. 基于多尺度分割注意力的无人机航拍图像目标检测算法[J]. 航空学报, 2023, 44(5): 326738-326738.
[5]	贾宝惠, 姜番, 王玉鑫, 王杜. 基于民机维修文本数据的故障诊断方法[J]. 航空学报, 2023, 44(5): 326598-326598.
[6]	姚俞成, 李旭, 徐启敏, 孔栋. 基于特征增强和校准的航拍车辆实例分割方法[J]. 航空学报, 2023, 44(24): 328397-328397.
[7]	李晓航, 周建江. 基于自适应记忆长度的多尺度模态融合网络[J]. 航空学报, 2023, 44(22): 628977-628977.
[8]	张毅, 张焱, 张宇, 张勇, 刘荻. 基于多级特征增强融合的红外飞机目标检测方法[J]. 航空学报, 2023, 44(22): 629220-629220.
[9]	苑玉彬, 吴一全, 赵朗月, 陈金林, 赵其昌. 基于深度学习的无人机航拍视频多目标检测与跟踪研究进展[J]. 航空学报, 2023, 44(18): 28334-028334.
[10]	李子豪, 王正平, 贺云涛. 基于自适应协同注意力机制的航拍密集小目标检测算法[J]. 航空学报, 2023, 44(13): 327944-327944.
[11]	文超, 董文瀚, 解武杰, 蔡鸣, 刘日. 基于回访机制的无人机集群分布式协同区域搜索方法[J]. 航空学报, 2023, 44(11): 327561-327561.
[12]	苏翎菲, 化永朝, 董希旺, 任章. 人与无人机集群多模态智能交互方法[J]. 航空学报, 2022, 43(S1): 727001-727001.
[13]	刘雷, 刘大卫, 王晓光, 陈俊男, 刘东兴. 无人机集群与反无人机集群发展现状及展望[J]. 航空学报, 2022, 43(S1): 726908-726908.
[14]	王伟, 王钦钊, 刘钢锋, 程慧, 陶溢, 郭傲兵. 地面无人系统反制关键技术分析与综述[J]. 航空学报, 2022, 43(7): 25489-025489.
[15]	刘芳, 韩笑. 基于多尺度深度学习的自适应航拍目标检测[J]. 航空学报, 2022, 43(5): 325270-325270.

面向反制无人机集群的多目标连续鲁棒跟踪算法

Multi-object continuous robust tracking algorithm for anti-UAV swarm

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 24

相关文章 15

编辑推荐

Metrics

本文评价