基于Transformer的异类目标智能关联跟踪

doi:10.7527/S1000-6893.2024.31643

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于Transformer的异类目标智能关联跟踪

鹿瑶¹^,², 李子豪¹^,³, 刘准钆¹^,³(), 杨衍波¹^,³

^1.西北工业大学自动化学院，西安 710129
^2.中国电子科技集团公司第二十研究所多域数据协同处理与控制全国重点实验室（二十所分部），西安 710068
^3.西北工业大学信息融合技术教育部重点实验室，西安 710129

收稿日期:2024-12-10 修回日期:2025-01-08 接受日期:2025-03-17 出版日期:2025-04-01 发布日期:2025-03-31
通讯作者: 刘准钆 E-mail:liuzhunga@nwpu.edu.cn
基金资助:
国家自然科学基金(U20B2067);国家自然科学基金(62425308);国家自然科学基金(U24B20178);陕西省自然科学基础研究计划(2024JC-YBMS-457)

Intelligent data association and tracking of different types of multiple targets based on Transformer

Yao LU¹^,², Zihao LI¹^,³, Zhunga LIU¹^,³(), Yanbo YANG¹^,³

^1.School of Automation，Northwestern Polytechnical University，Xi’an 710129，China
^2.National Key Laboratory of Multi-domain Data Collaborative Processing and Control （Division of the 20th Research Institute），The 20th Research Institute of China Electronics Technology Group Corporation，Xi’an 710068，China
^3.Key Laboratory of Information Fusion Technology，Northwestern Polytechnical University，Xi’an 710129，China

Received:2024-12-10 Revised:2025-01-08 Accepted:2025-03-17 Online:2025-04-01 Published:2025-03-31
Contact: Zhunga LIU E-mail:liuzhunga@nwpu.edu.cn
Supported by:
National Natural Science Foundation of China(U20B2067);Natural Science Basic Research Program of Shaanxi Province(2024JC-YBMS-457)

摘要/Abstract

摘要：

考虑异类多目标跟踪，现有跟踪系统模型参数固定，未能充分挖掘异类目标运动特性差异并将其体现在模型参数上，从而造成跟踪精度下降、甚至出现失跟或误跟现象。针对这一问题，提出一种基于Transformer的异类目标智能关联跟踪算法。在时间滑窗下，结合稀疏注意力和自注意力机制，提取历史雷达点迹数据/短时航迹数据中的目标类型特征、点迹航迹关联特征，动态调整系统过程噪声协方差矩阵进行异类目标精细化运动建模与雷达点迹/目标航迹的一对一可靠关联，以获得高质量异类目标跟踪输出。不同杂波密度下异类目标跟踪典型场景仿真结果表明，相较于联合概率数据关联滤波、多假设跟踪、概率假设密度滤波和模型参数固定的智能关联跟踪方法，所提方法具有更高的跟踪精度和稳定性。

关键词: 异类多目标跟踪, 数据关联, 短时航迹分类, 过程噪声协方差动态调整, Transformer网络

Abstract:

Considering tracking different types of multiple targets， the current tracking system use fixed model parameters， which fail to fully exploit motion characteristics from different types of targets. This limitation can lead to decreased tracking accuracy and even track loss or mis-tracking. To address this issue， a Transformer-based intelligent data association and tracking method is proposed for different types of multiple targets. In the case of time sliding window， by integrating sparse attention and self-attention mechanisms， the target-type features and track association features are deeply explored and exploited from the historical radar data and short-time track data， to adaptively adjust the process noise covariance matrix. This is beneficial to realize the refined motion modeling of different types of targets and acquire the reliable association between every radar echo and each target track， thereby producing high-quality tracking outputs for different types of multiple targets. Simulation results in the typical scenario of tracking different types of multiple targets with varying clutter densities demonstrate that， compared with the joint probabilistic data association filter， multiple hypothesis tracking， probability hypothesis density filter， and intelligent data association tracking with fixed model parameters， the proposed method achieves superior tracking accuracy and stability.

Key words: different types of multiple targets tracking, data association, short-time track classification, process noise covariance adjustment, Transformer network

中图分类号:

V243.2

鹿瑶, 李子豪, 刘准钆, 杨衍波. 基于Transformer的异类目标智能关联跟踪[J]. 航空学报, 2025, 46(17): 331643.

Yao LU, Zihao LI, Zhunga LIU, Yanbo YANG. Intelligent data association and tracking of different types of multiple targets based on Transformer[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(17): 331643.

图/表 16

图 1

表1

异类多目标运动初始值列表

参数	目标1	目标2	目标3	目标4	目标5
$x$ /m	5 000	5 000	5 000	5 000	5 000
$x ˙$ /（m·s^-1）	-14	-14	-14	-14	-14
$y$ /m	2 900	2 800	2 600	2 650	2 850
$y ˙$ /（m·s^-1）	-17	12	0	15	15
转弯率	0	0	0	0.17	0.12

表1

图2

表2

表3

图 3

图 4

图 5

图 6

图 7

表4

50次蒙特卡洛仿真下不同算法平均运行时间对比

算法	运行时间/s
算法	$λ$ = $10 - 5$	$λ$ = $10 - 4$	$λ$ = $10 - 3$
JPDAF	0.64	1.30	17.52
MHT	4.93	1.62	7.98
本文算法	5.10	6.09	8.43

表4

图 8

表5

图 9

图 10

表6

参考文献 31

[1]	刘雷，刘大卫，王晓光，等. 无人机集群与反无人机集群发展现状及展望［J］. 航空学报， 2022， 43（）： 726908.
	LIU L， LIU D W， WANG X G， et al. Development status and prospect of UAV cluster and anti-UAV cluster［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（Sup 1）： 726908 （in Chinese）.
[2]	王传云，苏阳，王琳霖，等. 面向反制无人机集群的多目标连续鲁棒跟踪算法［J］. 航空学报， 2024， 45（7）： 329017.
	WANG C Y， SU Y， WANG L L， et al. Multi-object continuous robust tracking algorithm for anti-UAV swarm［J］. Acta Aeronautica et Astronautica Sinica， 2024， 45（7）： 329017 （in Chinese）.
[3]	褚昭晨，宋韬，金忍，等. 基于视觉图像的空对空多无人机目标跟踪［J］. 航空学报， 2024， 45（14）： 629379.
	CHU Z C， SONG T， JIN R， et al. Vision-based air-to-air multi-UAVs tracking［J］. Acta Aeronautica et Astronautica Sinica， 2024， 45（14）： 629379 （in Chinese）.
[4]	柳超，王月基. 对海探测雷达多目标跟踪技术综述［J］. 雷达学报， 2021， 10（1）： 100-115.
	LIU C， WANG Y J. Review of multi-target tracking technology for marine radar［J］. Journal of Radars， 2021， 10（1）： 100-115 （in Chinese）.
[5]	RANGESH A， TRIVEDI M M. No blind spots： Full-surround multi-object tracking for autonomous vehicles using cameras and LiDARs［J］. IEEE Transactions on Intelligent Vehicles， 2019， 4（4）： 588-599.
[6]	ZHOU M， ZHANG J J， PAPANDREOU-SUPPAPPOLA A. Multiple target tracking in urban environments［J］. IEEE Transactions on Signal Processing， 2016， 64（5）： 1270-1279.
[7]	FORTMANN T， BAR-SHALOM Y， SCHEFFE M. Sonar tracking of multiple targets using joint probabilistic data association［J］. IEEE Journal of Oceanic Engineering， 1983， 8（3）： 173-184.
[8]	王树亮，毕大平，阮怀林. 认知雷达波形自适应数据关联跟踪算法［J］. 宇航学报， 2017， 38（12）： 1331-1338.
	WANG S L， BI D P， RUAN H L. Waveform self-adaption data association algorithm for cognitive radar tracking［J］. Journal of Astronautics， 2017， 38（12）： 1331-1338 （in Chinese）.
[9]	CHONG C Y. An overview of machine learning methods for multiple target tracking［C］∥ 2021 IEEE 24th International Conference on Information Fusion （FUSION）. Piscataway： IEEE Press， 2021.
[10]	LI X R. Tracking in clutter with strongest neighbor measurements［J］. IEEE Transactions on Automatic Control， 1998， 43（11）： 1560-1578.
[11]	SONG T L， LEE D G. A probabilistic nearest neighbor filter algorithm for m validated measurements［J］. IEEE Transactions on Signal Processing， 2006， 54（7）： 2797-2802.
[12]	何友，修建娟，刘瑜，等. 雷达数据处理及应用［M］. 4版. 北京：电子工业出版社， 2022： 138.
	HE Y， XIU J J， LIU Y， et al. Radar data processing with applications［M］. 4th ed. Beijing： Publishing House of Electronics Industry， 2022： 138 （in Chinese）.
[13]	WILLIAMS J L. Marginal multi-bernoulli filters： RFS derivation of MHT， JIPDA， and association-based member［J］. IEEE Transactions on Aerospace and Electronic Systems， 2015， 51（3）： 1664-1687.
[14]	WILLETT P， RUAN Y， STREIT R. PMHT： Problems and some solutions［J］. IEEE Transactions on Aerospace and Electronic Systems， 2002， 38（3）： 738-754.
[15]	SONG T L， LEE D G， RYU J. A probabilistic nearest neighbor filter algorithm for tracking in a clutter environment［J］. Signal Processing， 2005， 85（10）： 2044-2053.
[16]	BAR-SHALOM Y， TSE E. Tracking in a cluttered environment with probabilistic data association［J］. Automatica， 1975， 11（5）： 451-460.
[17]	HE S M， SHIN H S， TSOURDOS A. Distributed joint probabilistic data association filter with hybrid fusion strategy［J］. IEEE Transactions on Instrumentation and Measurement， 2020， 69（1）： 286-300.
[18]	QIAN H， YANG X， ZHANG X， et al. PLA-JPDA for indoor multi-person tracking using IR-UWB radars［C］∥IEEE Radar Conference. Piscataway： IEEE Press， 2020.
[19]	杨峰，王永齐，梁彦，等. 基于概率假设密度滤波方法的多目标跟踪技术综述［J］. 自动化学报， 2013， 39（11）： 1944-1956.
	YANG F， WANG Y Q， LIANG Y， et al. A survey of PHD filter based multi-target tracking［J］. Acta Automatica Sinica， 2013， 39（11）： 1944-1956 （in Chinese）.
[20]	申屠晗，薛安克，周治利. 多传感器高斯混合PHD融合多目标跟踪方法［J］. 自动化学报， 2017， 43（6）： 1028-1037.
	SHENTU H， XUE A K， ZHOU Z L. Multi-sensor Gaussian mixture PHD fusion for multi-target tracking［J］. Acta Automatica Sinica， 2017， 43（6）： 1028-1037 （in Chinese）.
[21]	徐洋，徐晖，安玮，等. 一种利用信号幅度信息的光学传感器像平面GM-PHD滤波算法［J］. 宇航学报， 2012， 33（4）： 478-486.
	XU Y， XU H， AN W， et al. A GM-PHD filter using signal amplitude information for image plane of optical sensor［J］. Journal of Astronautics， 2012， 33（4）： 478-486 （in Chinese）.
[22]	SONNTAG V， LE CAILLEC J M， PERES A， et al. Transformer-based state estimation for tracking： Maneuvering target and multi-target capabilities［C］∥2024 IEEE Radar Conference （RadarConf24）. Piscataway： IEEE Press， 2024.
[23]	ZHANG Y S， LI G， ZHANG X P， et al. A deep learning model based on transformer structure for radar tracking of maneuvering targets［J］. Information Fusion， 2024， 103： 102120.
[24]	CHUNG Y N， CHOU P H， YANG M R， et al. Multiple-target tracking with competitive hopfield neural network based data association［J］. IEEE Transactions on Aerospace and Electronic Systems， 2007， 43（3）： 1180-1188.
[25]	LIU H J， ZHANG H， MERTZ C. DeepDA： LSTM-based deep data association network for multi-targets tracking in clutter［C］∥2019 22th International Conference on Information Fusion （FUSION）. Piscataway： IEEE Press， 2019.
[26]	LI W N， YANG A L， ZHANG L Z. Improved data association algorithm for airborne radar multi-target tracking via deep learning network［C］∥IGARSS 2022-2022 IEEE International Geoscience and Remote Sensing Symposium. Piscataway： IEEE Press， 2022.
[27]	GAO C， LIU H W， VARSHNEY P K， et al. Signal structure information-based data association for maneuvering targets with a convolutional Siamese network［C］∥2021 CIE International Conference on Radar （Radar）. Piscataway： IEEE Press， 2021.
[28]	MEINHARDT T， KIRILLOV A， LEAL-TAIXÉ L， et al. TrackFormer： Multi-object tracking with transformers［C］∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022.
[29]	李文娜，张顺生，王文钦. 基于Transformer网络的机载雷达多目标跟踪方法［J］. 雷达学报， 2022， 11（3）： 469-478.
	LI W N， ZHANG S S， WANG W Q. Multitarget-tracking method for airborne radar based on a transformer network［J］. Journal of Radars， 2022， 11（3）： 469-478 （in Chinese）.
[30]	PINTO J， HESS G， LJUNGBERGH W， et al. Next generation multitarget trackers： Random finite set methods vs transformer-based deep learning［C］∥2021 IEEE 24th International Conference on Information Fusion （FUSION）. Piscataway： IEEE Press， 2021.
[31]	WEI X W， LIN Y R， ZHANG L N， et al. Transformer-based multi-target tracking with Bayesian perspective［C］∥2024 27th International Conference on Information Fusion （FUSION）. Piscataway： IEEE Press， 2024： 1-7.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

参数	数值
输入维度	4
输出维度	2
层数	3
注意力头数	8
隐藏层维度	64
Dropout率	0.1

参数	数值
输入维度	滑窗大小×目标数×量测数
输出维度	滑窗大小×目标数×量测数
层数	5
注意力头数	5
Dropout率	0.1

类型	平均OSPA/m
2层	16.40
2层+稀疏注意力	16.61
5层	15.11
5层+稀疏注意力	14.23
10层	15.79
10层+稀疏注意力	15.29
PHD滤波	75.59

类型	运行时间/s
2层	7.54
2层+稀疏注意力	7.21
5层	8.72
5层+稀疏注意力	8.51
10层	10.80
10层+稀疏注意力	10.58
PHD滤波	74.91

基于Transformer的异类目标智能关联跟踪

Intelligent data association and tracking of different types of multiple targets based on Transformer

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 16

参考文献 31

相关文章 12

编辑推荐

Metrics

本文评价

[1]	褚昭晨, 宋韬, 金忍, 林德福. 基于视觉图像的空对空多无人机目标跟踪[J]. 航空学报, 2024, 45(14): 629379-629379.
[2]	张天宇, 郑坚, 田卓尔, 荣英佼, 郭云飞, 申屠晗. 基于PTE的多雷达航迹融合算法[J]. 航空学报, 2019, 40(8): 322848-322848.
[3]	王树亮, 毕大平, 阮怀林, 周阳. 基于视觉注意机制的认知雷达数据关联算法[J]. 航空学报, 2018, 39(6): 321828-321828.
[4]	王聪, 王海鹏, 熊伟, 何友. 一种基于最小二乘拟合的数据关联算法[J]. 航空学报, 2016, 37(5): 1603-1613.
[5]	范炳艺;李建勋;刘坦. 面向目标的概率多假设跟踪算法[J]. 航空学报, 2010, 31(12): 2373-2378.
[6]	朱自谦;. 一种通用航迹起始模型[J]. 航空学报, 2009, 30(3): 497-504.
[7]	郭阳明;秦卫华;姜红梅;马捷中. 基于数据关联的故障快速检测[J]. 航空学报, 2008, 29(4): 1027-1030.
[8]	王杰贵;罗景青. 多目标无源跟踪中的多特征模糊综合数据关联算法[J]. 航空学报, 2004, 25(2): 172-175.
[9]	潘泉;刘刚;戴冠中;张洪才. 联合交互式多模型概率数据关联算法[J]. 航空学报, 1999, 20(3): 234-238.
[10]	郭晶;罗鹏飞;汪浩. 密集杂波环境下的数据关联快速算法[J]. 航空学报, 1998, 19(3): 305-309.
[11]	王培德;周宏仁;敬忠良. 残差滤波及其在密集多回波环境下机动多目标跟踪中的应用[J]. 航空学报, 1988, 9(5): 281-289.
[12]	周宏仁. 多目标跟踪技术综述[J]. 航空学报, 1986, 7(1): 1-10.