基于PER-MATD3的多无人机攻防对抗机动决策

doi:10.7527/S1000-6893.2022.27083

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于PER-MATD3的多无人机攻防对抗机动决策

符小卫¹(), 徐哲², 朱金冬¹^,³, 王楠¹

^1.西北工业大学电子信息学院，西安 710129
^2.西安应用光学研究所，西安 710065
^3.航空工业沈阳飞机设计研究所体系部，沈阳 110035

收稿日期:2022-02-28 修回日期:2022-03-23 接受日期:2022-05-11 出版日期:2023-04-15 发布日期:2022-05-19
通讯作者: 符小卫 E-mail:fxw@nwpu.edu.cn
基金资助:
航空科学基金(2020Z023053001)

Maneuvering decision-making of multi-UAV attack-defence confrontation based on PER-MATD3

Xiaowei FU¹(), Zhe XU², Jindong ZHU¹^,³, Nan WANG¹

^1.School of Electronics and Information，Northwestern Polytechnical University，Xi’an 710129，China
^2.Xi’an Institute of Applied Optics，Xi’an 710065，China
^3.AVIC Shenyang Aircraft Design Research Institute，Shenyang 110035，China

Received:2022-02-28 Revised:2022-03-23 Accepted:2022-05-11 Online:2023-04-15 Published:2022-05-19
Contact: Xiaowei FU E-mail:fxw@nwpu.edu.cn
Supported by:
Aeronautical Science Foundation of China(2020Z023053001)

摘要/Abstract

摘要：

以障碍物随机分布的复杂环境下多无人机攻防对抗机动决策为研究背景，构建了攻防双方运动模型及雷达探测模型，将双延迟深度确定性策略梯度（TD3）算法扩展到多智能体领域中以解决多智能体深度确定性策略梯度（MADDPG）算法存在值函数高估的问题；在此基础上，为了提升算法学习效率，结合优先经验回放机制提出了优先经验回放多智能体双延迟深度确定性策略算法（PER-MATD3）。通过仿真实验表明本文所设计的方法在多无人机攻防对抗机动决策问题中具有较好的对抗效果，并通过对比验证了（PER-MATD3）算法相较其他算法在收敛速度和稳定性方面的优势。

关键词: 多无人机, 多智能体强化学习, PER-MATD3, 攻防对抗, 机动决策

Abstract:

This paper explores multi-UAVs attack-defence confrontation maneuvering decision-making in a complex environment with random distribution of obstacles. A motion model and a radar detection model for both attack and defence sides are constructed. the Twin Delayed Deep Deterministic policy gradient （TD3） algorithm is extended to the multi-agent field to solve the problem of overestimation of the value function in the Multi-Agent Deep Deterministic Policy Gradient （MADDPG） algorithm. To improve the learning efficiency of the algorithm， a Prioritized Experience Replay Multi-Agent Twin Delayed Deep Deterministic policy gradient （PER-MATD3） algorithm is proposed based on the priority experience playback mechanism. The simulation experiments show that the method proposed in this paper has a good confrontation effect in multi-UAV attack-defence confrontation maneuvering decision making， and the advantages of the PER-MATD3 algorithm over other algorithms in terms of convergence speed and stability are verified by comparison.

Key words: multi-UAVs, multi-agent reinforcement learning, PER-MATD3, attack-defence confrontation, maneuvering decision-making

中图分类号:

V279

符小卫, 徐哲, 朱金冬, 王楠. 基于PER-MATD3的多无人机攻防对抗机动决策[J]. 航空学报, 2023, 44(7): 327083-327083.

Xiaowei FU, Zhe XU, Jindong ZHU, Nan WANG. Maneuvering decision-making of multi-UAV attack-defence confrontation based on PER-MATD3[J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2023, 44(7): 327083-327083.

图/表 13

图 1

图 2

图 3

图 4

图 5

表 1

实验环境参数设置

序号	参数名称	参数数值
1	战场边界 $x m i n, x m a x × y m i n, y m a x$ $/ k m, k m$	$[0,100] × [0,80]$
2	障碍物数量 $N o$	9
3	不同种类障碍物半径 $R o k$ /km及对应个数	4（3），5（3），6（3）
4	障碍物随机生成区域 $/ k m, k m$	$[15,85] × [15,65]$
5	进攻无人机雷达探测范围 $R a θ a$ /（km·（°））	12×120
6	防守无人机雷达探测范围 $R d θ d$ /（km·（°））	8×120
7	离散化的探测状态数目 $m$	7
8	进攻无人机的速度上限 $v a m a x$ /（m·s^-1）	340
9	防守无人机的速度上限 $v d m a x$ /（m·s^-1）	300
10	进攻无人机的加速度上限 $a a m a x$ /（m·s^-2）	20
11	防守无人机的加速度上限 $a d m a x$ /（m·s^-2）	20
12	进攻无人机的最大角速度 $ω a m a x$ /s^-1	$π / 15.7$
13	防守无人机的最大角速度 $ω d m a x$ /s^-1	$π / 22.6$
14	进攻无人机的初始位置坐标/［km，km］及航向角/rad	［2.5，2.5］， π/4
15	防守无人机的初始位置坐标/［km，km］及航向角/rad	［95，75］，［90，78］，［98，70］，5×π/4
16	目标区域中心点坐标 $x t p, y t p$ /［km，km］及半径 $R t$ /km	［95，75］，5
17	防守无人机初始火力打击半径 $R f$ /km	1

表 1

图 6

表 2

表 3

超参数设置

超参数名称	符号	取值
折扣因子	$γ$	0.95
惯性更新率	$τ$	0.01
经验池大小	$M$	1×10⁵
批样本数	$m$	64
Actor网络学习率	$α A$	1×10^-5
Critic网络学习率	$α C$	1×10^-4
探索率	$ε$	$0.1 → 0$
动作噪声（正态方差）	$σ$	$3 → 0$
回合数	MaxEpisode	2 000
每回报最大时间步	MaxStep	500

表 3

图 7

表 4

图 8

图 9

参考文献 28

1	孙智孝，杨晟琦，朴海音，等. 未来智能空战发展综述［J］. 航空学报， 2021， 42（8）： 525799.
	SUN Z X， YANG S Q， PIAO H Y， et al. A survey of air combat artificial intelligence［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（8）： 525799 （in Chinese）.
2	贾永楠，田似营，李擎. 无人机集群研究进展综述［J］. 航空学报， 2020， 41（S1）： 4-14.
	JIA Y N， TIAN S Y， LI Q. Recent development of unmanned aerial vehicle swarms［J］. Acta Aeronautica et Astronautica Sinica， 2020， 41（S1）： 4-14 （in Chinese）.
3	李兆强，周德云. 无人机数据链变结构对抗攻击导引方式研究［J］. 系统仿真学报， 2008， 20（13）： 3507-3509， 3513.
	LI Z Q， ZHOU D Y. UAV data links variable structure against attacks guidance law research［J］. Journal of System Simulation， 2008， 20（13）： 3507-3509， 3513 （in Chinese）.
4	田亚卓，张勇军. 基于改进人工势场法的动态环境下无人机路径规划［J］. 武汉科技大学学报， 2017， 40（6）： 451-456.
	TIAN Y Z， ZHANG Y J. UAV path planning based on improved artificial potential field in dynamic environment［J］. Journal of Wuhan University of Science and Technology， 2017， 40（6）： 451-456 （in Chinese）.
5	FANG B F， PAN Q S， HONG B R， et al. Research on high speed evader vs. multi lower speed pursuers in multi pursuit-evasion games［J］. Information Technology Journal， 2012， 11（8）： 989-997.
6	谢剑. 基于微分博弈论的多无人机追逃协同机动技术研究［D］. 哈尔滨：哈尔滨工业大学， 2015， 32-45.
	XIE J. Differential game theory for multi UAV pursuit maneuver technology based on collaborative research［D］. Harbin： Harbin Institute of Technology， 2015，32-45. （in Chinese）.
7	WEINTRAUB I， GARCIA E， PACHTER M. Optimal guidance strategy for the defense of a non‐manoeuvrable target in 3‐dimensions［J］. IET Control Theory & Applications， 2020， 14（11）： 1531-1538.
8	张国锋，周凯. 基于改进鱼群算法的无人机智能突防［J］. 控制工程， 2019， 26（5）： 922-926.
	ZHANG G F， ZHOU K. Intelligent penetration for UAV based on improved artificial fish swarm algorithm （AFSA）［J］. Control Engineering of China， 2019， 26（5）： 922-926 （in Chinese）.
9	HUO Z X， DAI S L， YUAN M X， et al. A reinforcement learning based multiple strategy framework for tracking a moving target［C］∥2020 IEEE/ASME International Conference on Advanced Intelligent Mechatronics （AIM）. Piscataway： IEEE Press， 2020： 1292-1297.
10	陈灿，莫雳，郑多，等. 非对称机动能力多无人机智能协同攻防对抗［J］. 航空学报， 2020， 41（12）： 324152.
	CHEN C， MO L， ZHENG D， et al. Cooperative attack-defense game of multiple UAVs with asymmetric maneuverability［J］. Acta Aeronautica et Astronautica Sinica， 2020， 41（12）： 324152 （in Chinese）.
11	马俊冲. 基于多机器人系统的多目标围捕协同控制问题研究［D］. 长沙：国防科技大学， 2018，43-52.
	MA J C. Research on encirclement control for a group of targets by multi-robot system［D］. Changsha： National University of Defense Technology， 2018，43-52 （in Chinese）.
12	符小卫，王辉，徐哲. 基于DE-MADDPG的多无人机协同追捕策略研究［J］. 航空学报， 2022：，43（5）：325311.
	FU X W， WANG H， XU Z. Research on cooperative pursuit strategy for multi-UAVs based on DE-MADDPG algorithm［J］. Acta Aeronautica et Astronautica Sinica， 2022，43（5）：325311 （in Chinese）.
13	李波，越凯强，甘志刚，等. 基于MADDPG的多无人机协同任务决策［J］. 宇航学报， 2021， 42（6）： 757-765.
	LI B， YUE K Q， GAN Z G， et al. Multi-UAV cooperative autonomous navigation based on multi-agent deep deterministic policy gradient［J］. Journal of Astronautics， 2021， 42（6）： 757-765 （in Chinese）.
14	周攀，黄江涛，章胜，等. 基于深度强化学习的智能空战决策与仿真研究［J］. 航空学报，2023， 44（4）： 126731.
	ZHOU P， HUANG J T， ZHANG S， et al. Research on UAV intelligent air combat decision and simulation based on deep reinforcement learning［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（4）： 126731 （in Chinese）.
15	HU Z J， GAO X G， WAN K F， et al. Relevant experience learning： A deep reinforcement learning method for UAV autonomous motion planning in complex unknown environments［J］. Chinese Journal of Aeronautics， 2021， 34（12）： 187-204.
16	BAI S X， SONG S M， LIANG S Y， et al. UAV maneuvering decision-making algorithm based on twin delayed deep deterministic policy gradient algorithm［J］. Journal of Artificial Intelligence and Technology， 2022， 2（1）： 16-22.
17	ZHANG S T. Autonomous navigation of UAV in multi-obstacle environments based on a deep reinforcement learning approach［J］. Applied Soft Computing， 2022， 115： 108194.
18	郭万春，解武杰，尹晖，等. 基于改进双延迟深度确定性策略梯度法的无人机反追击机动决策［J］. 空军工程大学学报（自然科学版）， 2021， 22（4）： 15-21.
	GUO W C， XIE W J， YIN H， et al. Research on UAV anti-pursing maneuvering decision based on improved twin delayed deep deterministic policy gradient method［J］. Journal of Air Force Engineering University （Natural Science Edition）， 2021， 22（4）： 15-21 （in Chinese）.
19	李文浩. 去中心化多智能体强化学习算法研究［D］. 上海：华东师范大学， 2019： 45-51.
	LI W H. Decentralized multi-agent reinforcement learning algorithm research［D］. Shanghai： East China Normal University， 2019： 45-51 （in Chinese）.
20	XIANG L， XIE T. Research on UAV swarm confrontation task based on MADDPG algorithm［C］∥2020 5th International Conference on Mechanical， Control and Computer Engineering （ICMCCE）. Piscataway： IEEE Press， 2020： 1513-1518.
21	黄利伟. 智能协同算法研究及应用［D］. 成都：电子科技大学， 2019： 31-40.
	HUANG L W. Research and application of the intelligent collaboration algorithms［D］. Chengdu： University of Electronic Science and Technology of China， 2019： 31-40 （in Chinese）.
22	LOWE R， WU Y， TAMAR A， et al. Multi-agent actor-critic for mixed cooperative-competitive environments［DB/OL］.arXiv preprint： 1706.02275，2017.
23	FUJIMOTO S， van HOOF H， MEGER D. Addressing function approximation error in actor-critic methods［DB/OL］. arXiv preprint： 1802.09477， 2018.
24	ZHANG F J. A TD3-based multi-agent deep reinforcement learning method in mixed cooperation-competition environment［J］. Neurocomputing， 2020， 411： 206-215.
25	SUI D， XU W P， ZHANG K. Study on the resolution of multi-aircraft flight conflicts based on an IDQN［J］. Chinese Journal of Aeronautics， 2022， 35（2）： 195-213.
26	高昂，董志明，李亮，等. MADDPG算法并行优先经验回放机制［J］. 系统工程与电子技术， 2021， 43（2）： 420-433.
	GAO A， DONG Z M， LI L， et al. Parallel priority experience replay mechanism of MADDPG algorithm［J］. Systems Engineering and Electronics， 2021， 43（2）： 420-433 （in Chinese）.
27	FU X W， ZHU J D， WEI Z Y， et al. A UAV pursuit-evasion strategy based on DDPG and imitation learning［J］. International Journal of Aerospace Engineering， 2022， 2022： 3139610.
28	赵毓，管公顺，郭继峰，等. 基于多智能体强化学习的空间机械臂轨迹规划［J］. 航空学报， 2021， 42（1）： 524151.
	ZHAO Y， GUAN G S， GUO J F， et al. Trajectory planning of space manipulator based on multi-agent reinforcement learning［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（1）： 524151 （in Chinese）.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

算法	输入层	隐藏层1	隐藏层2	输出层
ILDDPG	输入自身状态观测值和动作量，节点数为11+2（进攻方）、13+2（防守方）	神经元个数128	神经元个数64	输出动作值函数，节点数为1
MADDPG	输入全局状态观测值和动作量，节点数为58
MATD3、PER-MATD3	2个Critic网络均输入全局状态观测值和动作量，节点数为58

算法	在1 000回合时的奖励值	1 000~2 000回合的平均奖励值	训练时奖励所达到的峰值
ILDDPG	286.2	524.6	565.7
MADDPG	322.4	571.0	602.9
MATD3	522.4	601.0	612.9

[1]	符小卫, 王辉, 徐哲. 基于DE-MADDPG的多无人机协同追捕策略[J]. 航空学报, 2022, 43(5): 325311-325311.
[2]	任少睿, 陆忠梅, 石远明, 李立欣, 陈巍. 一种基于信息素图的无人机高效通信覆盖方法[J]. 航空学报, 2022, 43(2): 324939-324939.
[3]	张瑞鹏, 冯彦翔, 杨宜康. 多无人机协同任务分配混合粒子群算法[J]. 航空学报, 2022, 43(12): 326011-326011.
[4]	薛镇涛, 陈建, 张自超, 刘旭赞, 苗宪盛, 胡贵. 基于复杂地块凸划分优化的多无人机覆盖路径规划[J]. 航空学报, 2022, 43(12): 325990-325990.
[5]	陈璞, 严飞, 刘钊, 成果达. 通信约束下异构多无人机任务分配方法[J]. 航空学报, 2021, 42(8): 525844-525844.
[6]	董一群, 艾剑良. 自主空战技术中的机动决策:进展与展望[J]. 航空学报, 2020, 41(S2): 724264-724264.
[7]	王雨琪, 宁国栋, 王晓峰, 郝明瑞, 王江华. 基于微分对策的临近空间飞行器机动突防策略[J]. 航空学报, 2020, 41(S2): 724276-724276.
[8]	田栢苓, 李品品, 鲁瀚辰, 宗群. 复杂环境下多无人机轨迹姿态协同控制[J]. 航空学报, 2020, 41(S2): 724245-724245.
[9]	王通, 黄攀峰, 董刚奇. 启发式多无人机协同路网持续监视轨迹规划[J]. 航空学报, 2020, 41(S1): 723753-723753.
[10]	刘宇轩, 刘虎, 田永亮, 孙聪. 面向林火持续侦察的多无人机分布式控制方法[J]. 航空学报, 2020, 41(2): 323381-323381.
[11]	陈灿, 莫雳, 郑多, 程子恒, 林德福. 非对称机动能力多无人机智能协同攻防对抗[J]. 航空学报, 2020, 41(12): 324152-324152.
[12]	黄洋, 汤俊, 老松杨. 基于复杂网络的无人机飞行冲突解脱算法[J]. 航空学报, 2018, 39(12): 322222-322222.
[13]	赵长春, 梁浩全, 祝明, 武哲, 娄文杰. 基于改进RPG方法的MUAVs协同目标跟踪[J]. 航空学报, 2016, 37(5): 1644-1656.
[14]	陈海, 何开锋, 钱炜祺. 多无人机协同覆盖路径规划[J]. 航空学报, 2016, 37(3): 928-935.
[15]	符小卫, 李建, 高晓光. 带通信约束的多无人机协同搜索中的目标分配[J]. 航空学报, 2014, 35(5): 1347-1356.

基于PER-MATD3的多无人机攻防对抗机动决策

Maneuvering decision-making of multi-UAV attack-defence confrontation based on PER-MATD3

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 28

相关文章 15

编辑推荐

Metrics

本文评价