无人机状态检测Kalman滤波空地目标跟踪算法

doi:10.7527/S1000-6893.2024.29834

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 |

无人机状态检测Kalman滤波空地目标跟踪算法

徐心宇¹^,²^,³, 陈建¹()

^1.中国农业大学工学院，北京 100083
^2.浙江省农业智能装备与机器人重点实验室，杭州 310058
^3.浙江大学生物系统工程与食品科学学院，杭州 310058

收稿日期:2023-11-06 修回日期:2023-12-06 接受日期:2024-02-28 出版日期:2024-03-13 发布日期:2024-03-11
通讯作者: 陈建 E-mail:jchen@cau.edu.cn
基金资助:
国家自然科学基金(51979275);国家重点研发计划(2022YFD2001405);浙江省农业智能装备与机器人重点实验室开放课题(2023ZJZD2306);自然资源部超大城市自然资源时空大数据分析应用重点实验室开放基金(KFKT-2022-05);深圳市科技计划项目(ZDSYS20210623091808026);虚拟现实技术与系统全国重点实验室（北京航空航天大学）开放课题基金(VRLAB2022C10);能源清洁利用国家重点实验室开放基金课题(ZJUCEU2022002);农业农村部长三角智慧农业技术重点实验室开放基金(KSAT-YRD2023005);农业农村部华南热带智慧农业技术重点实验室开放课题(HNZHNY-KFKT-202202);高等教育科学研究规划课题重点课题(23XXK0304);中国农业大学2115人才工程项目

UAV object tracking for air⁃ground targets based on status detection and Kalman filter

Xinyu XU¹^,²^,³, Jian CHEN¹()

^1.College of Engineering，China Agricultural University，Beijing 100083，China
^2.Key Laboratory of Intelligent Equipment and Robotics for Agriculture of Zhejiang Province，Hangzhou 310058，China
^3.College of Biosystems Engineering and Food Science，Zhejiang University，Hangzhou 310058，China

Received:2023-11-06 Revised:2023-12-06 Accepted:2024-02-28 Online:2024-03-13 Published:2024-03-11
Contact: Jian CHEN E-mail:jchen@cau.edu.cn
Supported by:
National Natural Science Foundation of China(51979275);National Key Research and Development Program of China(2022YFD2001405);Open Fund of Key Laboratory of Intelligent Equipment and Robotics for Agriculture of Zhejiang Province(2023ZJZD2306);Key Laboratory of Spatial-temporal Big Data Analysis and Application of Natural Resources in Megacities, Ministry of Natural Resources(KFKT-2022-05);Shenzhen Science and Technology Program(ZDSYS20210623091808026);Open Project Program of State Key Laboratory of Virtual Reality Technology and Systems, Beihang University(VRLAB2022C10);Open Fund Project of State Key Laboratory of Clean Energy Utilization(ZJUCEU2022002);Open Fund of Key Laboratory of Smart Agricultural Technology （Yangtze River Delta）, Ministry of Agriculture and Rural Affairs(KSAT-YRD2023005);Open Project Program of Key Laboratory of Smart Agricultural Technology in Tropical South China, Ministry of Agriculture and Rural Affairs(HNZHNY-KFKT-202202);Higher Education Scientific Research Planning Project, China Association of Higher Education(23XXK0304);2115 Talent Development Program of China Agricultural University

摘要/Abstract

摘要：

针对无人机（UAV）面向空地目标进行目标跟踪过程中，发生目标离开视野、目标被遮挡、存在相似目标干扰等问题导致追踪失败的情况，提出一种基于追踪状态检测和Kalman滤波的重定位更新机制，将其与孪生全卷积网络（siamfc）跟踪器结合。以空地目标为被跟踪对象，以无人机为跟踪空地目标的跟踪者，首先，基于双峰选择、平均峰值相关能量变化率、最高响应值变化率和峰值旁瓣比变化率的检测机制检测当前的追踪状态是否异常，判断siamfc的追踪结果是否满足作为观测值的要求。其次，Kalman滤波利用目标运动的先验信息对追踪进行预测更新，当追踪状态异常时能够及时校正调整目标跟踪结果。基于LaSOT数据集完成训练，在UAV123航空数据集和自制的以无人机为目标的数据集上进行实时目标跟踪测试和对比实验。实验结果表明：该算法在UAV123上的精确率和成功率分别为66.0%和47.4%（62 帧/s），在自制的以无人机为目标的数据集上的精确率和成功率分别为72.0%和58.6%（55 帧/s），满足目标跟踪的实时性要求，且跟踪结果优于多数跟踪器。该算法在无人机为跟踪者和被跟踪对象的情况下均能完成有效目标跟踪，应对目标离开视野、部分或全部遮挡和存在相似目标干扰等挑战性场景的能力有所增强，且算法具有良好的泛化能力。

关键词: 无人机, 目标跟踪, 孪生网络, Kalman滤波, 重定位机制, 追踪状态检测

Abstract:

In the UAV’s target tracking process， tracking failure will occur when the target leaves the field of view or is occluded， and similar target interference exists. To overcome these problems， a relocation mechanism based on the tracking status detection and Kalman filter is proposed， which is combined with the fully convolutional Siamese network （siamfc） tracker. In this paper， an air-ground target is taken as the object to be tracked， and UAV is taken as the tracker to track the air-ground target. First， the detection mechanism based on the selection mechanism for double peaks， changing rate of average peak correlation energy， changing rate of maximum response value， and changing rate of peak to sidelobe ratio is used to detect whether the current tracking status is abnormal or not， and determine whether the tracking results of the siamfc satisfy the requirement of being an observed value. Secondly， the Kalman filter utilizes a priori information of the target motion to predict and update the tracking result. When the tracking status is abnormal， it can correct and adjust the tracking result in time. We use the LaSOT video dataset to train the network. Real-time object tracking tests and comparison experiments are conducted on UAV123 aerial dataset and the customized dataset with UAV as the target. The experimental results show that the tracker optimized by the mechanism has an accuracy and success rate of 66.0% and 47.4% （62 frame/s） respectively on UAV123， and 72.0% and 58.6% （55 frame/s） respectively on the customized dataset with UAV as the target. The tracking results meet the real-time requirements of UAV object tracking， and are better than the results of most trackers. The algorithm accomplishes effective target tracking with both UAVs as trackers and tracked objects， and has an enhanced ability to cope with challenging scenarios such as the target’s leaving the field of view， partial or total occlusion of the target， and similar target interference. Meanwhile， the algorithm has good generalization.

Key words: UAV, object tracking, Siamese network, Kalman filter, relocation mechanism, tracking status detection

中图分类号:

V279

徐心宇, 陈建. 无人机状态检测Kalman滤波空地目标跟踪算法[J]. 航空学报, 2024, 45(16): 329834-329834.

Xinyu XU, Jian CHEN. UAV object tracking for air⁃ground targets based on status detection and Kalman filter[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(16): 329834-329834.

图/表 24

图 1

图 2

图 3

图 4

图 5

图 6

表 1

图 7

表 2

图 8

图 9

图 10

表 3

表 4

图 11

图 12

表 5

表 6

图 13

图 14

图 15

图 16

图 17

图 18

参考文献 40

1	钟晓伟，王志胜，丛玉华. 基于轻量孪生网络的无人机目标跟踪算法［J］. 弹箭与制导学报， 2023， 43（5）： 25-33.
	ZHONG X W， WANG Z S， CONG Y H. Unmanned aerial vehicle target tracking algorithm based on lightweight Siamese networks［J］. Journal of Projectiles， Rockets， Missiles and Guidance， 2023， 43（5）： 25-33 （in Chinese）.
2	刘芳，杨雨妍，王鑫. 基于特征融合和分块注意力的无人机跟踪算法［J/OL］. 北京航空航天大学学报.（2023-09-27）［2023-11-01］..
	LIU F， YANG Y Y， WANG X. UAV tracking algorithm based on feature fusion and block attention［J］. Journal of Beijing University of Aeronautics and Astronautics.（2023-09-27）［2023-11-01］. （in Chinese）.
3	薛镇涛，陈建，张自超，等. 基于复杂地块凸划分优化的多无人机覆盖路径规划［J］. 航空学报， 2022， 43（12）： 325990.
	XUE Z T， CHEN J， ZHANG Z C， et al. Multi-UAV coverage path planning based on optimization of convex division of complex plots［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（12）： 325990 （in Chinese）.
4	ZHANG Z C， WANG S B， CHEN J， et al. A bionic dynamic path planning algorithm of the micro UAV based on the fusion of deep neural network optimization/filtering and hawk-eye vision［J］. IEEE Transactions on Systems， Man， and Cybernetics： Systems， 2023， 53（6）： 3728-3740.
5	JIA J L， LAI Z Y， QIAN Y R， et al. Aerial video trackers review［J］. Entropy， 2020， 22（12）： 1358.
6	COMANICIU D， MEER P. Mean shift： A robust approach toward feature space analysis［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（5）： 603-619.
7	BOLME D S， BEVERIDGE J R， DRAPER B A， et al. Visual object tracking using adaptive correlation filters［C］∥ 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2010： 2544-2550.
8	HENRIQUES J F， CASEIRO R， MARTINS P， et al. Exploiting the circulant structure of tracking-by-detection with kernels［C］∥ Computer Vision – ECCV 2012. Berlin， Heidelberg： Springer， 2012： 702-715.
9	HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）： 583-596.
10	LI Y， ZHU J K. A scale adaptive kernel correlation filter tracker with feature integration［C］∥AGAPITO L， BRONSTEIN M M， ROTHER C. Computer Vision - ECCV 2014 Workshops. Cham： Springer， 2015： 254-265.
11	DANELLJAN M， HÄGER G， SHAHBAZ KHAN F， et al. Accurate scale estimation for robust visual tracking［C］∥ Proceedings of the British Machine Vision Conference. Durham：BMVA Press 2014：1-11.
12	LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.
13	KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84-90.
14	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［DB/OL］.arXiv preprint： 1409.1556， 2014.
15	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］∥ 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2016： 770-778.
16	TAO R， GAVVES E， SMEULDERS A W M. Siamese instance search for tracking［C］∥ 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2016： 1420-1429.
17	BERTINETTO L， VALMADRE J， HENRIQUES J F， et al. Fully-convolutional Siamese networks for object tracking［C］∥ HUA G， J’EGOU H. Computer Vision⁃ECCV 2016 Workshops. Cham： Springer， 2016： 850-865.
18	马玉民，钱育蓉，周伟航，等. 基于孪生网络的目标跟踪算法综述［J］. 计算机工程与科学， 2023， 45（9）： 1578-1592.
	MA Y M， QIAN Y R， ZHOU W H， et al. A survey of target tracking algorithms based on Siamese network［J］. Computer Engineering & Science， 2023， 45（9）： 1578-1592 （in Chinese）.
19	ONDRAŠOVIČ M， TARÁBEK P. Siamese visual object tracking： A survey［J］. IEEE Access， 2021，9： 110149-110172.
20	HE A F， LUO C， TIAN X M， et al. A twofold Siamese network for real-time object tracking［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 4834-4843.
21	LI B， YAN J J， WU W， et al. High performance visual tracking with Siamese region proposal network［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 8971-8980.
22	ZHU Z， WANG Q， LI B， et al. Distractor-aware Siamese networks for visual object tracking［C］∥ FERRARI， V， HEBERT M， SMINCHISESCU C， et al. Computer Vision⁃ECCV 2018 . Cham：Springer，2018： 103-119.
23	LI B， WU W， WANG Q， et al. SiamRPN++： Evolution of Siamese visual tracking with very deep networks［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2019： 4277-4286.
24	ZHANG W， SONG K， RONG X W， et al. Coarse-to-fine UAV target tracking with deep reinforcement learning［J］. IEEE Transactions on Automation Science and Engineering， 2018， 16（4）： 1522-1530. .
25	AVOLA D， CINQUE L， DIKO A， et al. MS-Faster R-CNN： Multi-stream backbone for improved Faster R-CNN object detection and aerial tracking from UAV images［J］. Remote Sensing， 2021， 13（9）： 1670.
26	LI Y M， FU C H， HUANG Z Y， et al. Intermittent contextual learning for keyfilter-aware UAV object tracking using deep convolutional feature［J］. IEEE Transactions on Multimedia， 2020， 23： 810-822.
27	BIAN Z Y， XU T F， CHEN J J， et al. Auto-learning correlation-filter-based target state estimation for real-time UAV tracking［J］. Remote Sensing， 2022， 14（21）： 5299.
28	刘芳，孙亚楠. 基于自适应融合网络的无人机目标跟踪算法［J］. 航空学报， 2022， 43（7）： 325522.
	LIU F， SUN Y N. UAV target tracking algorithm based on adaptive fusion network［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（7）： 325522 （in Chinese）.
29	刘贞报，马博迪，高红岗，等. 基于形态自适应网络的无人机目标跟踪方法［J］. 航空学报， 2021， 42（4）： 524904.
	LIU Z B， MA B D， GAO H G， et al. Adaptive morphological network based UAV target tracking algorithm［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（4）： 524904 （in Chinese）.
30	ZHOU L J， ZHANG J L. Combined Kalman filter and multifeature fusion Siamese network for real-time visual tracking［J］. Sensors， 2019， 19（9）： 2201.
31	WU F， ZHANG J L， XU Z Y. Stably adaptive anti-occlusion Siamese region proposal network for real-time object tracking［J］. IEEE Access， 2020， 8： 161349-161360.
32	SUN L F， ZHANG J J， YANG Z， et al. A motion-aware Siamese framework for unmanned aerial vehicle tracking［J］. Drones， 2023， 7（3）： 153.
33	WANG M M， LIU Y， HUANG Z Y. Large margin object tracking with circulant feature maps［C］∥ 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2017： 4800-4808.
34	BOLME D S， BEVERIDGE J R， DRAPER B A， et al. Visual object tracking using adaptive correlation filters［C］∥ 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2010： 2544-2550.
35	MUELLER M， SMITH N， GHANEM B. A benchmark and simulator for UAV tracking［M］∥ Computer Vision⁃ECCV 2016. Cham： Springer， 2016： 445-461.
36	WU Y， LIM J， YANG M H. Object tracking benchmark［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1834-1848.
37	FAN H， LIN L T， YANG F， et al. LaSOT： A high-quality benchmark for large-scale single object tracking［C］∥ 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2019： 5369-5378.
38	DANELLJAN M， HÄGER G， KHAN F S， et al. Learning spatially regularized correlation filters for visual tracking［C］∥ 2015 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2015： 4310-4318.
39	MA C， YANG X K， ZHANG C Y， et al. Long-term correlation tracking［C］∥ 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2015： 5388-5396.
40	BERTINETTO L， VALMADRE J， GOLODETZ S， et al. Staple： Complementary learners for real-time tracking［C］∥ 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2016： 1401-1409.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

视频序列	像素大小	长度/帧	场景属性
car4	1 280×720	1 345	SV， ARC， LR， POC， CM， SOB
group1_4	1 280×720	949	SV， ARC， POC， IV， VC， CM， SOB
person10	1 280×720	1 021	SV， FOC， POC， OV， VC， CM， SOB
uav2	720×480	133	SV， LR， FOC， POC

跟踪器	UAV123		与siamfc相比
跟踪器	精确率/%	成功率/%	精确率/%	成功率/%
siamfc	63.7	45.7
siamkal	63.7	45.7	0	0
siamfc_peaks	64.3	46.1	+0.6	+0.4
KPsiamfc	66.0	47.4	+2.3	+1.7

跟踪器	ARC	BC	CM	FM	FOC	IV	LR	OV	POC	SOB	SV	VC
跟踪器	精确率/%
KPsiamfc	57.5	39.9	64.9	54.3	46.7	48.9	54.3	61.7	54.4	63.3	63.0	61.6
siamfc_peaks	55.3	35.7	62.3	56.7	45.8	43.8	53.7	61.4	51.1	60.1	61.4	60.6
siamkal	55.5	37.2	61.8	54.2	43.8	45.7	52.8	60.7	50.5	59.1	60.8	60.8
siamfc	55.2	37.9	61.6	54.9	43.6	45.1	52.3	61.0	50.1	57.7	60.4	60.3
跟踪器	成功率/%
KPsiamfc	40.8	25.8	46.9	38.2	29.2	34.0	34.3	46.1	38.9	45.0	45.1	45.1
siamfc_peaks	39.0	22.9	45.1	39.8	27.9	30.8	34.2	45.0	36.5	42.1	43.9	43.8
siamkal	39.1	23.6	44.8	38.4	26.9	31.7	33.6	44.9	36.0	41.4	43.5	43.9
siamfc	38.9	24.2	44.5	38.1	26.9	31.0	33.3	45.0	35.7	40.7	43.2	43.5

挑战性场景	视频数量	图像数量/帧
光照变化	2	1 290
背景杂波	10	5 145
相似目标干扰	8	5 006
遮挡（部分或全部）	9	5 032
快速移动	11	3 784
小目标	6	2 965
姿态变化明显	7	2 200
离开视野	3	1 244

跟踪器	自制数据集		与siamfc相比
跟踪器	精确率/%	成功率/%	精确率/%	成功率/%
siamfc	67.3	54.7
KPsiamfc	72.0	58.6	+4.7	+3.9

无人机状态检测Kalman滤波空地目标跟踪算法

UAV object tracking for air⁃ground targets based on status detection and Kalman filter

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 24

参考文献 40

相关文章 15

编辑推荐

Metrics

本文评价

[1]	王海峰, 刘坤澎, 江泓鑫, 杜晨曦. 螺旋桨多设计点气动优化方法和变桨距角策略[J]. 航空学报, 2024, 45(9): 528831-528831.
[2]	赵春晖, 刘安萌, 吕洋, 潘泉. 无人机韧性自主定位技术综述[J]. 航空学报, 2024, 45(8): 28839-028839.
[3]	张薇, 何若俊. 面向物联网数据收集的无人机自主路径规划[J]. 航空学报, 2024, 45(8): 329054-329054-1.
[4]	王传云, 苏阳, 王琳霖, 王田, 王静静, 高骞. 面向反制无人机集群的多目标连续鲁棒跟踪算法[J]. 航空学报, 2024, 45(7): 329017-329017.
[5]	赵靖, 宋丹. 无人机GNSS/IMU组合导航系统完好性监测方法[J]. 航空学报, 2024, 45(7): 328943-328943.
[6]	尹洪玉, 吴宇, 梁天骄. 固定翼无人机巡逻覆盖协同路径规划方法[J]. 航空学报, 2024, 45(6): 328944-328944.
[7]	罗旭东, 吴一全, 陈金林. 无人机航拍影像目标检测与语义分割的深度学习方法研究进展[J]. 航空学报, 2024, 45(6): 28822-028822.
[8]	安朝, 霍贵玺, 孟杨, 谢长川, 杨超. 翼尖铰接组合式无人机气动建模方法及布局参数影响[J]. 航空学报, 2024, 45(6): 629587-629587.
[9]	李广佳, 王红波, 张凯, 仪志胜. 临近空间太阳能无人机增升减阻技术综述[J]. 航空学报, 2024, 45(5): 529644-529644.
[10]	蔡云鹏, 周大鹏, 丁江川. 具有防撞安全约束的无人机集群智能协同控制[J]. 航空学报, 2024, 45(5): 529683-529683.
[11]	郑高杰, 何小明, 李东坡, 谭慧俊, 汪昆, 吴祯龙, 王德鹏. 尾部推进无人机双90°偏折进气道/蜗壳耦合流动特性[J]. 航空学报, 2024, 45(4): 128782-128782.
[12]	王祝, 张梦通, 张振鹏, 徐广通. 基于多指标动态优先级的无人机协同路径规划[J]. 航空学报, 2024, 45(4): 328816-328816.
[13]	肖袁, 冯坤, 胡明辉, 江志农. 航空发动机转子非稳态振动分量提取方法[J]. 航空学报, 2024, 45(3): 228158-228158.
[14]	赵江, 张璇, 池沛, 王英勋. 空地无人集群自调节控制与动态路径规划方法[J]. 航空学报, 2024, 45(16): 329809-329809.
[15]	张宏宏, 李文华, 郑家毅, 刘宏斌, 张鹏, 高鹏, 甘旭升. 有人/无人机协同作战：概念、技术与挑战[J]. 航空学报, 2024, 45(15): 29653-029653.

场景属性	siamfc		KPsiamfc		与siamfc相比
场景属性	精确率/%	成功率/%	精确率/%	成功率/%	精确率/%	成功率/%
光照变化	13.6	14.8	14.3	15.9	+0.7	+1.1
背景杂波	58.0	46.8	59.5	48.2	+1.5	+1.4
相似目标干扰	72.5	57.6	81.4	64.5	+8.9	+6.9
遮挡	46.3	34.9	59.7	45.7	+13.4	+10.8
快速移动	66.3	57.8	66.5	58.3	+0.2	+0.5
小目标	66.0	53.8	73.5	59.8	+13.5	+6
姿态变化明显	70.0	62.7	72.4	65.0	+2.4	+2.3
离开视野	50.4	36.0	57.0	42.9	+6.6	+6.9