基于PPO-SHAP的IMA系统资源分配可解释决策方法

doi:10.7527/S1000-6893.2025.31872

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于PPO-SHAP的IMA系统资源分配可解释决策方法

刘嘉琛¹^,², 董磊¹^,³(), 孙紫荆⁴, 倪晔⁵, 陈曦¹^,³, 王鹏¹^,³

^1.中国民航大学民航航空器适航审定技术重点实验室，天津 300300
^2.中国民航大学安全科学与工程学院，天津 300300
^3.中国民航大学科技创新研究院，天津 300300
^4.航空工业西安航空计算技术研究所，西安 710065
^5.中国商飞上海飞机试飞工程有限公司，上海 200232

收稿日期:2025-02-13 修回日期:2025-04-01 接受日期:2024-06-26 出版日期:2025-07-16 发布日期:2025-07-15
通讯作者: 董磊 E-mail:l-dong@cauc.edu.cn
基金资助:
部级项目

An explainable decision-making method for resource allocation in IMA system based on PPO-SHAP

Jiachen LIU¹^,², Lei DONG¹^,³(), Zijing SUN⁴, Ye NI⁵, Xi CHEN¹^,³, Peng WANG¹^,³

^1.Key Laboratory of Civil Aircraft Airworthiness Technology，Civil Aviation University of China，Tianjin 300300，China
^2.College of Safety Science and Engineering，Civil Aviation University of China，Tianjin 300300，China
^3.Science and Technology Innovation Research Institute，Civil Aviation University of China，Tianjin 300300，China
^4.AVIC Xi’an Aeronautics Computing Technology Research Institute，Xi’an 710065，China
^5.COMAC Shanghai Aircraft Flight Test Co. ，Ltd. ，Shanghai 200232，China

Received:2025-02-13 Revised:2025-04-01 Accepted:2024-06-26 Online:2025-07-16 Published:2025-07-15
Contact: Lei DONG E-mail:l-dong@cauc.edu.cn
Supported by:
Ministerial-level Project

摘要/Abstract

摘要：

随着航空人工智能技术的发展，综合模块化航电（IMA）平台上驻留的智能化应用软件面临着资源稀缺和决策难信任的问题。首先在考虑航电系统架构要素的基础上，设计了多约束条件下的IMA系统资源分配决策优化目标，利用近端策略优化（PPO）算法求解序贯决策过程中航电资源的近似最优分配方案。然后建立了面向IMA系统资源分配的决策归因解释框架，通过对训练数据集的聚合和重采样来提取强化学习智能体专家策略，进而采用Shapley加性解释（SHAP）方法实现了全局与局部相结合的IMA系统资源分配决策解释。仿真实验结果表明，相比于贪婪算法和其他基于策略的强化学习算法，所提方法具有良好的收敛速度和学习效果，解决IMA系统资源分配问题时高效性、优越性显著，且能伴随生成定量的、可视化的特征归因解释信息，揭示了强化学习输入特征对决策的影响程度及决策意图，为智能航电系统可解释性方面的适航符合性验证提供了方法指导。

关键词: 可解释性, 综合模块化航电, 近端策略优化, 资源分配, 单一飞行员驾驶, Shapley加性解释

Abstract:

With the development of aviation Artificial Intelligence （AI） technology， the intelligent application software residing on the Integrated Modular Avionics （IMA） platform faces challenges such as resource scarcity and unreliable decision-making. Firstly， based on the consideration of avionics system architectural elements， the optimisation objective of IMA resource allocation decision-making under multiple constraints is designed. The proximal policy optimization algorithm is used to solve the near-optimal allocation scheme of IMA resources in the sequential decision-making process. Next， a decision attribution explanation framework for IMA resource allocation is established， and the expert policy of the reinforcement learning agent is extracted by aggregating and resampling the training dataset. Then， the SHapley Additive exPlanations （SHAP） method is used to achieve a combined global and local explanation of IMA resource allocation decisions. Simulation experiments and result analysis show that， compared with the greedy algorithm and other policy-based reinforcement learning algorithms， the proposed method exhibits good convergence speed and learning effect， and is remarkably superior in solving the IMA resource allocation problem. Additionally， this method generates quantitative and visual feature attribution explanations， which reveals the impact of input features on decision-making and clarify decision intent， thereby providing methodological guidance for airworthiness compliance validation of AI-based avionics system in terms of explainability.

Key words: explainability, integrated modular avionics, proximal policy optimization, resource allocation, single-pilot operations, SHapley additive exPlanations

中图分类号:

刘嘉琛, 董磊, 孙紫荆, 倪晔, 陈曦, 王鹏. 基于PPO-SHAP的IMA系统资源分配可解释决策方法[J]. 航空学报, 2025, 46(24): 331872.

Jiachen LIU, Lei DONG, Zijing SUN, Ye NI, Xi CHEN, Peng WANG. An explainable decision-making method for resource allocation in IMA system based on PPO-SHAP[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(24): 331872.

图/表 21

图 1

图 2

图 3

表 1

图 4

图 5

表 2

图 6

表 3

图 7

图 8

图 9

图 10

图 11

图 12

图 13

图 14

表 4

图 15

图 16

表 5

参考文献 50

[1]	LECUN Y， BENGIO Y， HINTON G. Deep learning［J］. Nature， 2015， 521（7553）： 436-444.
[2]	Systems Aviage. Cockpit automatic speech recognition［EB/OL］. （2022-04-13）［2025-01-20］. .
[3]	Daedalean. Visual traffic detection： Noticing all fixed wing， rotorcraft and drones in time［EB/OL］. （2023-04-01）［2025-01-20］. .
[4]	Acubed. Developing autonomous flight and machine learning solutions for the next generation of aircraft［EB/OL］. （2024-10-02）［2025-01-20］. .
[5]	KAAKAI F， DMITRIEV K， ADIBHATLA S， et al. Toward a machine learning development lifecycle for product certification and approval in aviation［J］. SAE International Journal of Aerospace， 2022， 15（2）：127-143.
[6]	EASA. Artificial intelligence roadmap 2.0［R］. Cologne： European Union Aviation Safety Agency， 2023.
[7]	FAA. Roadmap for artificial intelligence safety assurance［R］. Washington， D.C.： Federal Aviation Administration， 2024.
[8]	工业和信息化部. 绿色航空制造业发展纲要［R］. 北京：工业和信息化部， 2023.
	MIIT. Green aviation manufacturing development programme［R］. Beijing： Ministry of Industry and Information Technology， 2023 （in Chinese）.
[9]	中国民用航空局. 民航中长期科学和技术发展规划纲要［R］. 北京：中国民用航空局， 2023.
	CAAC. Outline of the medium and long-term science and technology development plan for civil aviation［R］. Beijing： Civil Aviation Administration of China， 2023 （in Chinese）.
[10]	GASKA T， WATKIN C， CHEN Y. Integrated modular avionics-past， present， and future［J］. IEEE Aerospace and Electronic Systems Magazine， 2015， 30（9）： 12-23.
[11]	周贵荣，徐见源，马少博，等. 大型客机航电系统综合集成关键技术综述［J］. 航空学报， 2024， 45（5）： 529956.
	ZHOU G R， XU J Y， MA S B， et al. Review of key technologies for avionics systems integration on large passenger aircraft［J］. Acta Aeronautica et Astronautica Sinica， 2024， 45（5）： 529956 （in Chinese）.
[12]	LIM Y， BASSIEN-CAPSA V， RAMASAMY S， et al. Commercial airline single-pilot operations： System design and pathways to certification［J］. IEEE Aerospace and Electronic Systems Magazine， 2017， 32（7）： 4-21.
[13]	YIN J， ZHU Z Q. Flight autonomy impact to the future avionics architecture［C］∥ 2018 IEEE/AIAA 37th Digital Avionics Systems Conference （DASC）. Piscataway： IEEE Press， 2018： 1-7.
[14]	ZOLGHADRI A. Augmented flight management system for future single pilot operations［C］∥ 2023 9th International Conference on Control， Decision and Information Technologies （CoDIT）. Piscataway： IEEE Press， 2023： 29-34.
[15]	任宝平，李创. 机载系统的智能架构及功能分析［J］. 航空工程进展， 2023， 14（4）： 149-157.
	REN B P， LI C. Analysis on intelligent architecture and function of airborne system［J］. Advances in Aeronautical Science and Engineering， 2023， 14（4）： 149-157 （in Chinese）.
[16]	IQBAL Z， LEHMANN M， LUETTIG B， et al. Introducing ML to IMA technology-system perspective［C］∥ 2024 AIAA DATC/IEEE 43rd Digital Avionics Systems Conference （DASC）. Piscataway： IEEE Press， 2024： 1-10.
[17]	EASA. Concepts of design assurance for neural networks （CoDANN）［R］. Cologne： European Union Aviation Safety Agency， 2020.
[18]	DEY S， LEE S W. A multi-layered collaborative framework for evidence-driven data requirements engineering for machine learning-based safety-critical systems［C］∥ Proceedings of the 38th ACM/SIGAPP Symposium on Applied Computing. New York： ACM， 2023： 1404-1413.
[19]	LHACHEMI H， DE AZUA ORTEGA J A R， SAUSSIÉ D， et al. Partition modeling and optimization of ARINC 653 operating systems in the context of IMA［C］∥ 2016 IEEE/AIAA 35th Digital Avionics Systems Conference （DASC）. Piscataway： IEEE Press， 2016： 1-8.
[20]	KHAMVILAI T， SUTTER L， BAUFRETON P， et al. Decentralized task reallocation on parallel computing architectures targeting an avionics application［J］. Journal of Optimization Theory and Applications， 2021， 191（2）： 874-898.
[21]	DEROCHE E， SCHARBARG J L， FRABOUL C. A greedy heuristic for distributing hard real-time applications on an IMA architecture［C］∥ 2017 12th IEEE International Symposium on Industrial Embedded Systems （SIES）. Piscataway： IEEE Press， 2017： 1-8.
[22]	CHU J Y， ZHAO T D， JIAO J， et al. Optimal design of configuration scheme for integrated modular avionics systems with functional redundancy requirements［J］. IEEE Systems Journal， 2021， 15（2）： 2665-2676.
[23]	ZHANG T， CHEN J Y， LV D J， et al. Automatic generation of reconfiguration blueprints for IMA systems using reinforcement learning［J］. IEEE Embedded Systems Letters， 2021， 13（4）： 182-185.
[24]	张涛，张文涛，代凌，等. 基于序贯博弈多智能体强化学习的综合模块化航空电子系统重构方法［J］. 电子学报， 2022， 50（4）： 954-966.
	ZHANG T， ZHANG W T， DAI L， et al. Integrated modular avionics system reconstruction method based on sequential game multi-agent reinforcement learning［J］. Acta Electronica Sinica， 2022， 50（4）： 954-966 （in Chinese）.
[25]	赵长啸，李道俊，孙亦轩，等. 基于深度强化学习的综合航电系统安全性优化方法［J］. 中国安全科学学报， 2024， 34（7）： 123-131.
	ZHAO C X， LI D J， SUN Y X， et al. Integrated avionics system safety optimization method based on deep reinforcement learning［J］. China Safety Science Journal， 2024， 34（7）： 123-131 （in Chinese）.
[26]	CHENG J， TAN W， LV G Z， et al. A method for solving reconfiguration blueprints based on multi-agent reinforcement learning［J］. Computer Science and Information Systems， 2024， 21（4）： 1335-1357.
[27]	MILANI S， TOPIN N， VELOSO M， et al. Explainable reinforcement learning： A survey and comparative review［J］. ACM Computing Surveys， 2024， 56（7）： 1-36.
[28]	曹宏业，刘潇，董绍康，等. 面向强化学习的可解释性研究综述［J］. 计算机学报， 2024， 47（8）： 1853-1882.
	CAO H Y， LIU X， DONG S K， et al. A survey of interpretability research methods for reinforcement learning［J］. Chinese Journal of Computers， 2024， 47（8）： 1853-1882 （in Chinese）.
[29]	EASA. Concept paper： Guidance for Level 1 & 2 machine learning applications［R］. Cologne： European Union Aviation Safety Agency， 2024.
[30]	Committee G-34. Recommended practice for development and certification/approval of aeronautical safety-related products implementing ML： SAE ARP6983 Draft 6B［EB/OL］. （2023-06-26）［2025-01-24］. .
[31]	DEEL. White paper machine learning in certified systems： Ref-S079L03T00-005［R］. Toulouse： DEpendable Explainable Learning， 2021.
[32]	谭龙华，杜承烈. ARINC 653分区实时系统的主时间框架设计［J］. 北京航空航天大学学报， 2016， 42（11）： 2413-2422.
	TAN L H， DU C L. Design of major time frame for ARINC 653 partitioned real-time systems［J］. Journal of Beijing University of Aeronautics and Astronautics， 2016， 42（11）： 2413-2422 （in Chinese）.
[33]	赵长啸，何锋，李浩，等. 基于效能的先进战斗机航电系统动态重构方法［J］. 航空学报， 2020， 41（6）： 523416.
	ZHAO C X， HE F， LI H， et al. Dynamic reconfiguration method based on effectiveness for advanced fighter avionics system［J］. Acta Aeronautica et Astronautica Sinica， 2020， 41（6）： 523416 （in Chinese）.
[34]	徐文，熊智勇，张国全. 基于Harmony系统工程的IMA应用开发［J］. 北京航空航天大学学报， 2015， 41（11）： 2067-2077.
	XU W， XIONG Z Y， ZHANG G Q. IMA application development based on Harmony system engineering［J］. Journal of Beijing University of Aeronautics and Astronautics， 2015， 41（11）： 2067-2077 （in Chinese）.
[35]	何锋. 航空电子系统综合调度理论与方法［M］. 北京：清华大学出版社， 2017： 13-20.
	HE F. Theory and approach to avionics system integrated scheduling［M］. Beijing： Tsinghua University Press， 2017： 13-20 （in Chinese）.
[36]	ZHOU T R， XIONQ H， ZHANG Z. Hierarchical resource allocation for integrated modular avionics systems［J］. Journal of Systems Engineering and Electronics， 2011， 22（5）： 780-787.
[37]	ROY A， BORKAR V， KARANDIKAR A， et al. Online reinforcement learning of optimal threshold policies for Markov decision processes［J］. IEEE Transactions on Automatic Control， 2022， 67（7）： 3722-3729.
[38]	SCHULMAN J， WOLSKI F， DHARIWAL P， et al. Proximal policy optimization algorithms［DB/OL］. arXiv preprint ：1707.06347， 2017.
[39]	CHENG Y H， HUANG L Y， WANG X S. Authentic boundary proximal policy optimization［J］. IEEE Transactions on Cybernetics， 2022， 52（9）： 9428-9438.
[40]	ROSS S， GORDON G J， BAGNELL J A. A reduction of imitation learning and structured prediction to no-regret online learning［C］∥Proceedings of the 14th international conference on artificial intelligence and statistics （AISTATS）， 2011： 627-635.
[41]	AHN J， SHIN S， KOO J， et al. Data aggregation （DAgger） algorithm using adversarial agent policy for dynamic situations［C］∥Intelligent Autonomous Systems 18. Cham： Springer， 2024： 91-104.
[42]	王诗彬，王世傲，陈雪峰，等. 可解释性智能监测诊断网络构造及航空发动机整机试车与中介轴承诊断应用［J］. 机械工程学报， 2024， 60（12）： 90-106.
	WANG S B， WANG S A， CHEN X F， et al. Interpretable network construction for intelligent monitoring and diagnosis， and application in inter-shaft bearing diagnosis while aero-engine test［J］. Journal of Mechanical Engineering， 2024， 60（12）： 90-106 （in Chinese）.
[43]	LUNDBERG S. A unified approach to interpreting model predictions［DB/OL］. arXiv preprint： 1705.07874， 2017.
[44]	LUNDBERG S M， ERION G， CHEN H， et al. From local explanations to global understanding with explainable AI for trees［J］. Nature Machine Intelligence， 2020， 2（1）： 56-67.
[45]	CAPPI C， COHEN N， DUCOFFE M， et al. How to design a dataset compliant with an ML-based system ODD？［DB/OL］. arXiv preprint： 2406.14027， 2024.
[46]	GIRIJA A A， CHRISTENSEN J M， STEFANI T， et al. Towards the monitoring of operational design domains using temporal scene analysis in the realm of artificial intelligence in aviation［C］∥ 2024 AIAA DATC/IEEE 43rd Digital Avionics Systems Conference （DASC）. Piscataway： IEEE Press， 2024： 1-8.
[47]	SAE. Guidelines for conducting the safety assessment process on civil aircraft， systems， and equipment： SAE ARP 4761A-2023 ［S］. Warrendale： Society of Automotive Engineers， 2023.
[48]	DION B， NAJORK M， DALMASSO N， et al. Programming neural networks inference in a safety-critical simulation-based framework［C］∥Embedded Real Time Systems （ERTS） Congress， 2022： 1-12.
[49]	YUAN J， PEI Y， XU Y， et al. Autonomous interval management of multi-aircraft based on multi-agent reinforcement learning considering fuel consumption［J］. Transportation Research Part C： Emerging Technologies， 2024， 165： 104729.
[50]	WILLIAMS K R， SCHLOSSMAN R， WHITTEN D， et al. Trajectory planning with deep reinforcement learning in high-level action spaces［J］. IEEE Transactions on Aerospace and Electronic Systems， 2023， 59（3）： 2513-2529.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

SPO模式	参与角色职责			航电功能需求
SPO模式	单一飞行员	智能航电系统	地面操作员	管理	监视	显示	飞行	通信	智能
1	A3	B1	×	↗	↗	—	—	—	↗
2	A2	B2	C1	↑	↗	—	—	↗	↑
3	×	B3	A2	↑	↑	×	↑	↑	↑

任务编号	主频/GHz	内存/kB	执行时间/ms	截止时间/ms
M3_7	0.59	50	170	200
M1_12	0.30	40	30	50
S4_2_3	0.49	50	70	100
M12_5	0.39	60	120	150
D5_4	0.20	20	10	50
C20_19	0.49	40	210	250

超参数	设定值
Actor网络层数	2
Actor各层神经元数	64
Critic网络层数	2
Critic各层神经元数	64
Actor网络学习率	1×10^-4
Critic网络学习率	1×10^-4
折扣因子	0.99
裁剪系数	0.2
总学习时间步	8×10⁴
分区个数	10
CPM分区配置	CPM 1：分区1，2，CPM 2：分区3~5， CPM 3：分区6，7，CPM 4：分区8~10
分区计算资源容量/GHz	1
分区存储资源容量/kB	100
分区空闲功耗/W	10
分区满载功耗/W	25
计算资源负载权重因子	0.5
存储资源负载权重因子	0.5

驻留应用软件	分类等级	驻留应用软件	分类等级
综合导航	高必要	性能计算	低必要
飞行计划	高必要	轨迹导引	低必要
空中交通防撞	高必要	地形感知与告警	低必要
气象探测	低必要	机载防撞	高必要
综合显示1	高必要	综合显示2	低必要
自动飞行控制	高必要	主飞行控制	关键
自动推力控制	低必要	指挥通信	高必要
控制通信	关键	AOC和ATC通信	低必要
负荷评估	高必要	自然语言处理	低必要
自动化配置	低必要	智能防撞	高必要
性能优化	高必要	视觉着陆	高必要

目标编号	内容	符合性
EXP-01	申请人应在智能航电系统生命周期的任何阶段，确定除最终用户外需要对其进行解释的利益攸关方名单，以及他们的角色、职责和预期专业知识	符合
EXP-02	对于每个利益攸关方，申请人应提供可解释性的动机，这是支持系统研制和学习保证过程所必需的	符合
EXP-03	申请人应确定并记录AI/ML在项目级和/或输出级的解释方法	符合
EXP-04	申请人在设计智能航电系统时，应使其具有根据实际测量数据或不确定性水平量化指标来提供ML组件输出置信水平的能力	符合

基于PPO-SHAP的IMA系统资源分配可解释决策方法

An explainable decision-making method for resource allocation in IMA system based on PPO-SHAP

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 21

参考文献 50

相关文章 15

编辑推荐

Metrics

本文评价

[1]	陈伟, 李璐璐, 陈董, 张少辉, 李亚飞, 王可, 靳远远, 徐明亮. 差异化保障需求驱动的舰载机多机协同决策方法[J]. 航空学报, 2025, 46(13): 531274-531274.
[2]	张海君, 夏清悦, 马旭, 任超, 陆阳. 6G低空通信场景下无人机部署优化综述[J]. 航空学报, 2025, 46(11): 531296-531296.
[3]	高树一, 林德福, 郑多, 徐骋. 考虑拦截器探测能力限制的飞行器智能机动突防制导策略[J]. 航空学报, 2025, 46(10): 331304-331304.
[4]	周贵荣, 徐见源, 马少博, 宗军耀, 沈金清, 朱海杰. 大型客机航电系统综合集成关键技术综述[J]. 航空学报, 2024, 45(5): 529956-529956.
[5]	於志文, 孙卓, 程岳, 郭斌. 智能无人机集群协同感知计算研究综述[J]. 航空学报, 2024, 45(20): 630912-630912.
[6]	李伟, 郭艳, 何明, 袁昊, 赖雪斌. 满意度驱动下无人机移动边缘计算服务缓存和资源分配方法[J]. 航空学报, 2024, 45(19): 330017-330017.
[7]	杨书恒, 张栋, 熊威, 任智, 唐硕. 基于可解释性强化学习的空战机动决策方法[J]. 航空学报, 2024, 45(18): 329922-329922.
[8]	李佐龙, 朱纪洪, 匡敏驰, 张杰, 任洁. 基于混合动作的空战分层强化学习决策算法[J]. 航空学报, 2024, 45(17): 530053-530053.
[9]	程晓玉, 韩鹏, 贺维, 张朋, 韩晓霞, 李英梅, 曹友. 一种新的基于可解释性置信规则库的飞轮健康状态评估模型[J]. 航空学报, 2023, 44(S1): 172-184.
[10]	李忠智, 马金毅, 艾剑良, 董一群. 拟VGG16网络的航空传感器故障检测分类[J]. 航空学报, 2023, 44(S1): 727615-727615.
[11]	王志凯, 陈盛, 范玮. 神经网络宽度对燃烧室排放预测的影响[J]. 航空学报, 2023, 44(5): 126816-126816.
[12]	陈勇, 钟科林, 罗悦, 王淼. 支线客机关键技术与发展方向[J]. 航空学报, 2023, 44(2): 26697-026697.
[13]	李伟, 郭艳, 李宁, 刘存涛, 袁昊. 智能反射面辅助无人机移动边缘计算任务数据最大化方法[J]. 航空学报, 2023, 44(19): 328486-328486.
[14]	高树一, 林德福, 郑多, 胡馨予. 针对集群攻击的飞行器智能协同拦截策略[J]. 航空学报, 2023, 44(18): 328301-328301.
[15]	董磊, 陈泓兵, 陈曦, 赵长啸. 基于DQN的单一飞行员驾驶模式分布式多智能体联盟任务分配策略[J]. 航空学报, 2023, 44(13): 327895-327895.