基于显式对手建模的一对一超视距空战策略认知
收稿日期: 2024-05-21
修回日期: 2024-06-29
录用日期: 2024-08-26
网络出版日期: 2024-09-23
基金资助
国家自然科学基金(62376280)
Opponent strategy cognition of one-on-one BVR air combat based on explicit opponent modeling
Received date: 2024-05-21
Revised date: 2024-06-29
Accepted date: 2024-08-26
Online published: 2024-09-23
Supported by
National Natural Science Foundation of China(62376280)
为解释和分析对手的空战策略，针对现有空战策略认知手段欠缺的问题，提出了一种面向一对一超视距（BVR）空战的显式对手建模（EOM）方法。将超视距空战问题视作不完美信息博弈，将时空连续的空战过程离散化，抽象出不同类型的空战行动，引入决策点概念来聚合同分布信息集，定义关键决策变量来考察影响行动的关键因素，利用非参数化机器学习方法构建易于理解的对手策略模型，即决策点上行动概率分布随关键决策变量变化的模型。利用模拟超视距空战开展复盘分析表明，利用该方法构建策略模型相比现有方法能更全面地解释对手的行动和分析对手的弱点，可为策略优化和装备发展提供建议。
关键词： 显式对手建模（EOM）; 一对一超视距（BVR）空战; 博弈; 策略模型; 决策点
胡振震 , 陈少飞 , 李鹏 , 陈佳星 , 张煜 , 陈璟 . 基于显式对手建模的一对一超视距空战策略认知[J]. 航空学报, 2025 , 46(4) : 330711 -330711 . DOI: 10.7527/S1000-6893.2024.30711
To explain and analyze the opponent’s air combat strategy， an Explicit Opponent Modeling （EOM） method for one-on-one Beyond Visual Range （BVR） air combat is proposed to address the lack of strategy cognition in existing tools. The problem of BVR air combat is regarded as an imperfect information game， and the space-time continuous process of combat is discretized to abstract different types of air combat actions. The concept of decision point is introduced to aggregate the information sets conforming to the same distribution. Key decision variables are defined to examine the key factors affecting the actions. The non-parametric machine learning approach is used to construct an easy-to-understand opponent strategy model. The post-game analysis of the simulated BVR air combat shows that the constructed strategy model by the proposed method can explain the opponent’s actions and analyze the opponent’s weak points more comprehensively than existing methods， and can provide suggestions for strategy optimization and equipment development.
| 1 | 李大中， 张昌治. 高技术空战［M］. 北京： 科学普及出版社， 1995： 87-91. |
| LI D Z， ZHANG C Z. High-tech air combat［M］. Beijing： Popular Science Press， 1995： 87-91 （in Chinese）. | |
| 2 | 卢鹏， 王瑾. 面向第四代战斗机的超视距空战［J］. 火力与指挥控制， 2009， 34（6）： 154-157. |
| LU P， WANG J. The research on BVR combat for the fourth generation fighters［J］. Fire Control & Command Control， 2009， 34（6）： 154-157 （in Chinese）. | |
| 3 | 童中翔， 董小龙， 李传良. 超视距空战机动动作库的可视化设计［J］. 火力与指挥控制， 2006， 31（7）： 59-62. |
| TONG Z X， DONG X L， LI C L. Visual design of BVRAC maneuver movements［J］. Fire Control & Command Control， 2006， 31（7）： 59-62 （in Chinese）. | |
| 4 | BONANNI P. Art of the Kill： A comprehensive audiovisual guide to modern air-to-air combat［M］. Alameda： Spectrum HoloByte， 1993：105-111. |
| 5 | 吴文海， 周思羽， 高丽， 等. 超视距空战过程分析［J］. 飞行力学， 2011， 29（6）： 45-48. |
| WU W H， ZHOU S Y， GAO L， et al. Analysis of BVR air combat process［J］. Flight Dynamics， 2011， 29（6）：45-48 （in Chinese）. | |
| 6 | 游航航， 宋帅， 高阳阳， 等. 超视距空战中指挥引导效能的发挥［J］. 飞航导弹， 2019（11）： 70-72. |
| YOU H H， SONG S， GAO Y Y， et al. Exertion of command and guidance efficiency in over-the-horizon air combat［J］. Aerodynamic Missile Journal， 2019（11）： 70-72 （in Chinese）. | |
| 7 | 董一群， 艾剑良. 自主空战技术中的机动决策： 进展与展望［J］. 航空学报， 2020， 41（S2）： 724264. |
| DONG Y Q， AI J L. Decision making in autonomous air combat： Review and prospects［J］. Acta Aeronautica et Astronautica Sinica， 2020， 41（S2）： 724264 （in Chinese）. | |
| 8 | 郑江安. 超视距空战领先能力研究［J］. 电光与控制， 2011（3）： 9-12， 17. |
| ZHEN J A. Study on first ability in beyond visual range air combat［J］. Electronics Optics & Control， 2011（3）： 9-12， 17 （in Chinese）. | |
| 9 | FU L， LIU J， MENG G， et al. Research on beyond visual range target allocation and multi-aircraft collaborative decision-making［C］?∥2013 25th Chinese Control and Decision Conference （CCDC）， 2013： 1-5. |
| 10 | 王利芳， 李莉， 聂志强. 超视距空战中目标机动意图评估［J］. 电光与控制， 2012， 19（12）： 68-71. |
| WANG L F， LI L， NIE Z Q. Assessment of target maneuvering intention in beyond-visual-range air-combat［J］. Electronics Optics & Control， 2012， 19（12）： 68-71 （in Chinese）. | |
| 11 | 徐安， 陈星， 李战武， 等. 基于战术攻击区的超视距空战态势评估方法［J］. 火力与指挥控制， 2020， 45（9）： 97-102. |
| XU A， CHEN X， LI Z W， et al. A method of situation assessment for beyond-visual-range air combat based on tactical attack area［J］. Fire Control & Command Control， 2020， 45（9）： 97-102 （in Chinese）. | |
| 12 | 左家亮， 张滢， 杨任农， 等. 中距协同空战决策过程二次聚类重构与评估［J］. 系统工程与电子技术， 2020， 42（1）： 108-117. |
| ZUO J L， ZHANG Y， YANG R N， et al. Reconstruction and evaluation of medium-range cooperation air combat decision making process with two phase clustering［J］. Systems Engineering and Electronics， 2020， 42（1）： 108-117 （in Chinese）. | |
| 13 | 胡易航， 裘旭益， 张彦， 等. 样本级实时空中格斗决策可解释模型研究［J］. 小型微型计算机系统， 2022： 1-7. |
| HU Y H， QIU X Y， ZHANG Y， et al. Interpretable sample level real-time air combat decision model［J］. Journal of Chinese Computer Systems， 2022：1-7 （in Chinese）. | |
| 14 | GANZFRIED S， SUN Q Y. Bayesian opponent exploitation in imperfect-information games［C］?∥2018 IEEE Conference on Computational Intelligence and Games （CIG）. Piscataway： IEEE Press， 2018： 1-8. |
| 15 | NASHED S， ZILBERSTEIN S. A survey of opponent modeling in adversarial domains［J］. Journal of Artificial Intelligence Research， 2022， 73： 277-327. |
| 16 | BROWNE C B， POWLEY E， WHITEHOUSE D， et al. A survey of Monte Carlo tree search methods［J］. IEEE Transactions on Computational Intelligence and AI in Games， 2012， 4（1）： 1-43. |
| 17 | BOWLING M， BURCH N， JOHANSON M， et al. Heads-up Limit Hold’em poker is solved［J］. Science， 2015， 347（6218）： 145-149. |
| 18 | 邓有朋， 范佳宣， 郑岩， 等. 不完全信息下多智能体对手建模［J］. 航空学报， 2023， 44（S2）： 729782. |
| DENG Y P， FAN J X， ZHENG Y， et al. Multiagent opponent modeling with incompleted information［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（S2）：729782 （in Chinese）. | |
| 19 | 安波， 高阳， 俞扬. 分布式人工智能［M］. 北京： 电子工业出版社， 2022： 191-192. |
| AN B， GAO Y， YU Y. Distributed artificial intelligence［M］. Beijing： Publishing House of Electronics Industry， 2022： 191-192 （in Chinese）. | |
| 20 | LIU H Y， ZHANG Y F， LI S H. Simulation and effectiveness analysis on one versus one beyond visual range air combat［J］. MATEC Web of Conferences， 2018， 151： 05001. |
| 21 | DANTAS J P A， COSTA A N， GERALDO D， et al. Engagement decision support for beyond visual range air combat［C］?∥2021 Latin American Robotics Symposium （LARS）， 2021 Brazilian Symposium on Robotics （SBR）， and 2021 Workshop on Robotics in Education （WRE）. Piscataway： IEEE Press， 2021： 96-101. |
| 22 | GAO W N， YANG Z， SUN Z X， et al. Real-time calculation of tactical control range in beyond visual range air combat［C］?∥2022 IEEE International Conference on Unmanned Systems （ICUS）. Piscataway： IEEE Press， 2022： 76-80. |
| 23 | DANTAS J P A， MAXIMO M R O A， COSTA A N， et al. Machine learning to improve situational awareness in beyond visual range air combat［J］. IEEE Latin America Transactions， 2022， 20（8）： 2039-2045. |
| 24 | DANTAS J P A， COSTA A N， MEDEIROS F L L， et al. Supervised machine learning for effective missile launch based on beyond visual range air combat simulations［C］?∥2022 Winter Simulation Conference （WSC）. Piscataway： IEEE Press， 2022： 1990-2001. |
| 25 | SCUKINS E， KLEIN M， ?GREN P. Enhancing situation awareness in beyond visual range air combat with reinforcement learning-based decision support［C］?∥2023 International Conference on Unmanned Aircraft Systems （ICUAS）. Piscataway： IEEE Press， 2023： 56-62. |
| 26 | 顾佼佼， 赵建军， 徐海峰， 等. 基于 SPA 及 PSO 的超视距空战态势评估［J］. 系统工程与电子技术， 2014， 36（4）： 691-696. |
| GU J J， ZHAO J J， XU H F， et al. Situation assessment for beyond-visual-range air combat based on interval SPA and PSO［J］. Systems Engineering and Electronics， 2014， 36（4）： 691-696 （in Chinese）. | |
| 27 | 杨任农， 房育寰， 张振兴， 等. 变分自编码器结合聚类算法在空战态势评估问题上的应用［J］. 国防科技大学学报， 2019， 41（4）：144-155. |
| YANG R N， FANG Y H， ZHANG Z X， et al. Application of variational autoencoder combined with clustering algorithm in air combat situation assessment［J］. Journal Of National University Of Defense Technology， 2019， 41（4）： 144-155 （in Chinese）. | |
| 28 | 吴江， 宋晗， 周锐， 等. 基于扩展影响图的超视距空战辅助决策方法［J］. 控制与决策， 2010， 25（11）： 1669-1674. |
| WU J， SONG H， ZHOU R， et al. Extended influence diagram based decision aiding approach for beyond visual-range air combat［J］. Control and Decision， 2010， 25（11）： 1669-1674 （in Chinese）. | |
| 29 | 张戈， 寇雅楠， 张彬超， 等. 航空飞行员直觉模糊空战战术决策研究［J］. 计算机仿真， 2016， 33（9）： 142-146. |
| ZHANG G， KOU Y N， ZHANG B C， et al. Aviation pilots air combat tactics decision-making based on intuition fuzzy［J］. Computer Simulation， 2016， 33（9）： 142-146 （in Chinese）. | |
| 30 | DU P， LIU H Y. Study on air combat tactics decision-making based on Bayesian networks［C］?∥2010 2nd IEEE International Conference on Information Management and Engineering. Piscataway： IEEE Press， 2010： 252-256. |
| 31 | TOUBMAN A， ROESSINGH J J M， SPRONCK P H， et al. Rapid adaptation of air combat behaviour［J］. Frontiers in Artificial Intelligence and Applications， 2016：1791-1796. |
| 32 | KANG Y M， LIU Z， PU Z Q， et al. Beyond-visual-range tactical game strategy for multiple UAVs［C］?∥2019 Chinese Automation Congress （CAC）. Piscataway： IEEE Press， 2019： 5231-5236. |
| 33 | YANG Z， ZHOU D Y， PIAO H Y， et al. Evasive maneuver strategy for UCAV in beyond-visual-range air combat based on hierarchical multi-objective evolutionary algorithm［J］. IEEE Access， 2020， 8： 46605-46623. |
| 34 | 闫孟达， 俞利新， 左家亮， 等. 基于MFO-HTN的超视距空战战术机动组合规划［J］. 空军工程大学学报（自然科学版）， 2022， 23（4）： 14-19. |
| YAN M D， YU L X， ZUO J L， et al. Beyond-visual-range air combat maneuver combination planning based on MFO-HTN［J］. Journal of Air Force Engineering University （Natural Science Edition）， 2022， 23（4）： 14-19 （in Chinese）. | |
| 35 | YUAN W L， DUAN W， PENG S C， et al. Decision-making of one-on-one beyond-visual-range air combat based on improved Q-network［C］?∥2018 IEEE International Conference on Mechatronics and Automation （ICMA）. Piscataway： IEEE Press， 2018： 809-815. |
| 36 | PIAO H Y， SUN Z X， MENG G L， et al. Beyond-visual-range air combat tactics auto-generation by reinforcement learning［C］?∥2020 International Joint Conference on Neural Networks （IJCNN）. Piscataway： IEEE Press， 2020： 1-8. |
| 37 | HU D Y， YANG R N， ZUO J L， et al. Application of deep reinforcement learning in maneuver planning of beyond-visual-range air combat［J］. IEEE Access， 2021， 9： 32282-32297. |
| 38 | DANTAS J P A， MAXIMO M R O A， YONEYAMA T. Autonomous agent for beyond visual range air combat： A deep reinforcement learning approach［C］?∥ACM SIGSIM Conference on Principles of Advanced Discrete Simulation. New York： ACM， 2023. |
| 39 | 吴宜珈， 赖俊， 陈希亮， 等. 强化学习算法在超视距空战辅助决策上的应用研究［J］. 航空兵器， 2021， 28（2）： 55-61. |
| WU Y J， LAI J， CHEN X L， et al. Research on the application of reinforcement learning algorithm in decision support of beyond-visual-range air combat［J］. Aero Weaponry， 2021， 28（2）：55-61 （in Chinese）. | |
| 40 | 张洪波， 邹杰， 刘波， 等. 超视距空战攻击占位技术研究［C］?∥第四届中国航空兵器大会 （2015）， 2015： 1-13. |
| ZHANG H B， ZOU J， LIU B， et al. Research on BVR air combat attack occupancy technology［C］?∥The 4th China Aviation and Weapons Conference （2015）， 2015： 1-13 （in Chinese）. | |
| 41 | LI G L， WANG Y X， LU C， et al. Multi-UAV air combat weapon-target assignment based on genetic algorithm and deep learning［C］?∥2020 Chinese Automation Congress （CAC）. Piscataway： IEEE Press， 2020： 3418-3423. |
| 42 | GARCIA E， CASBEER D W， TRAN D， et al. A differential game approach for beyond visual range tactics［C］?∥2021 American Control Conference （ACC）. Piscataway： IEEE Press， 2021： 3210-3215. |
| 43 | 周铭哲. 超视距多无人机协同空战任务规划方法研究［D］. 沈阳： 沈阳航空航天大学， 2019： 8-22. |
| ZHOU M Z. Research on mission planning method of over-the-horizon multi-UAV cooperative air combat［D］. Shenyang： Shenyang Aerospace University， 2019： 8-22 （in Chinese）. | |
| 44 | 朱爱峰. 基于Petri网的多机协同多目标攻击决策技术研究［D］. 南京： 南京航空航天大学， 2010： 15-28. |
| ZHU A F. Research on decision-making technology of multi-machine cooperative multi-target attack based on Petri net［D］. Nanjing： Nanjing University of Aeronautics and Astronautics， 2010： 15-28 （in Chinese）. | |
| 45 | FU L， LONG X， HE W B. Air combat assignment problem based on Bayesian optimization algorithm［J］. Journal of Shanghai Jiaotong University （Science）， 2022， 27（6）： 799-805. |
| 46 | HA J S， CHAE H J， CHOI H L. A stochastic game-based approach for multiple beyond-visual-range air combat［J］. Unmanned Systems， 2018， 6（1）： 67-79. |
| 47 | MA Y Y， WANG G Q， HU X X， et al. Cooperative occupancy decision making of multi-UAV in beyond-visual-range air combat： A game theory approach［J］. IEEE Access， 2019， 8： 11624-11634. |
| 48 | LI W H， SHI J P， WU Y Y， et al. A Multi-UCAV cooperative occupation method based on weapon engagement zones for beyond-visual-range air combat［J］. Defence Technology， 2022， 18（6）： 1006-1022. |
| 49 | 马滢滢， 王国强， 胡笑旋， 等. 超视距空战中的多无人机武器目标分配方法［J］. 中国管理科学， 2022， 30（3）： 248-257. |
| MA Y Y， WANG G Q， HU X X， et al. Weapon target assignment method for multiple UAVs in beyond-visual-range air combat［J］. Chinese Journal of Management Science， 2022， 30（3）： 248-257 （in Chinese）. | |
| 50 | FLOYD M W， KARNEEB J， MOORE P， et al. A goal reasoning agent for controlling UAVs in beyond-visual-range air combat［C］?∥Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence. California： International Joint Conferences on Artificial Intelligence Organization， 2017： 4714-4722. |
| 51 | RAO N， KASHYAP S， GOPALARATNAM G， et al. Situation and threat assessment in BVR combat［C］?∥Proceedings of the AIAA Guidance， Navigation， and Control Conference. Reston： AIAA， 20111. |
| 52 | WANG X Y， YANG Z， LI X Y， et al. A beyond visual range air combat integrated threat assessment method based on target intention and event［C］?∥International Conference on Guidance， Navigation and Control. Singapore： Springer， 2023： 189-200. |
| 53 | ALFORD R， BORCK H， KARNEEB J. Active behavior recognition in beyond visual range air combat［C］?∥The Third Annual Conference on Advances in Cognitive Systems 2015， 2015： 1-14. |
| 54 | BORCK H， KARNEEB J， ALFORD R. Case-based behavior recognition in beyond visual range air combat［C］?∥PRESS A. Proceedings of the Twenty-Eighth International Florida Artificial Intelligence Research Society Conference， 2015： 1-6. |
| 55 | YANG Z， SUN Z X， PIAO H Y， et al. Online hierarchical recognition method for target tactical intention in beyond-visual-range air combat［J］. Defence Technology， 2022， 18（8）： 1349-1361. |
| 56 | 方君， 张立民， 徐涛， 等. 超视距空战仿真中的策略识别［J］. 海军航空工程学院学报， 2017， 32（1）： 116-120. |
| FANG J， ZHANG L M， XU T， et al. Policy recognition in beyond visual range air combat simulation［J］. Journal of Naval Aeronautical and Astronautical University， 2017， 32（1）： 116-120 （in Chinese）. | |
| 57 | 刘钻东. 基于目标意图预测的多无人机协同攻防智能决策［D］. 南京： 南京航空航天大学， 2020： 17-30. |
| LIU Z D. Intelligent decision-making of cooperative attack and defense of multiple UAVs based on target intention prediction［D］. Nanjing： Nanjing University of Aeronautics and Astronautics， 2020： 17-30 （in Chinese）. | |
| 58 | VAN DEN BROECK G， DRIESSENS K， RAMON J. Monte-Carlo tree search in poker using expected reward distributions［M］?∥Lecture Notes in Computer Science. Berlin， Heidelberg： Springer， 2009： 367-381. |
| 59 | EKMEKCI O， SIRIN V. Learning strategies for opponent modeling in poker［C］?∥Workshops at the Twenty-Seventh AAAI Conference on Artificial Intelligence （AAAIW 2013）， 2013： 1-8. |
| 60 | VAN DER KLEIJ A. Monte Carlo tree search and opponent modeling through player clustering in no-limit Texas Hold’em poker［D］. Groningen： University of Groningen， 2010： 41-58. |
| 61 | FEDCZYSZYN G， KOSZALKA L， POZNIAK-KOSZALKA I. Opponent modeling in Texas Hold’em poker［M］?∥Lecture Notes in Computer Science. Berlin， Heidelberg： Springer Berlin Heidelberg， 2012： 182-191. |
| 62 | 周志华. 机器学习［M］. 北京： 清华大学出版社， 2016： 23-24. |
| ZHOU Z H. Machine learning［M］. Beijing： Tsinghua University Press， 2016： 23-24 （in Chinese）. | |
| 63 | MOHRI M， ROSTAMIZADEH A， TALWALKAR A. Foundations of machine learning［M］. 2nd ed. Cambridge： The MIT Press， 2018： 8-10. |
| 64 | HUANG J. Building a computer poker agent with emphasis on opponent modeling［D］. Massachusetts： Massachusetts Institute of Technology， 2011： 1-54. |
| 65 | 李翔， 姜晓红， 陈英芝， 等. 基于手牌预测的多人无限注德州扑克博弈方法［J］. 计算机学报， 2018， 41（1）： 47-64. |
| LI X， JIANG X H， CHEN Y Z， et al. Game in multiplayer No-limit Texas Hold’em based on hands prediction［J］. Chinese Journal of Computers， 2018， 41（1）： 47-64 （in Chinese）. | |
| 66 | 王栋. 智能空战实时辅助决策方法研究［M］. 北京： 电子工业出版社， 2020： 32-33. |
| WANG D. Research on real-time decision-making method for intelligent air combat［M］. Beijing： Publishing House of Electronics Industry， 2020： 32-33 （in Chinese）. | |
| 67 | HASTIE T， TIBSHIRANI R， FRIEDMAN J. The elements of statistical learning［M］. New York： Springer， 2009： 329-341. |
| 68 | GARCíA-PORTUGUéS E. A short course on nonparametric curve estimation［M］. Colombia： EAFIT University， 2022： 1-30. |
| 69 | ZHANG J D， CHOW C Y. GeoSoCa： Exploiting geographical， social and categorical correlations for point-of-interest recommendations［C］?∥Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2015： 443-452. |
/
| 〈 |
|
〉 |
CJA