无人机集群控制软件原型设计

doi:10.7527/S1000-6893.2024.30678

航空计算与仿真技术专栏

本期目录 | 过刊浏览 | 高级检索

前一篇 |

无人机集群控制软件原型设计

王月星¹, 周启扬¹, 李敏倩², 缪炜星¹, 陆炎迪², 葛贤亮²()

^1.中航（成都）无人机系统股份有限公司，成都 610000
^2.浙江大学心理科学研究中心，杭州 310000

收稿日期:2024-05-14 修回日期:2024-06-17 接受日期:2024-08-23 出版日期:2024-09-19 发布日期:2024-09-09
通讯作者: 葛贤亮 E-mail:0918082@zju.edu.cn
基金资助:
国家级项目

Prototyping of UAV swarm control software

Yuexing WANG¹, Qiyang ZHOU¹, Minqian LI², Weixing MIAO¹, Yandi LU², Xianliang GE²()

^1.AVIC （Chengdu） UAS CO. ，LTD. ，Chengdu 610000，China
^2.Research Center for Psychological Science，Zhejiang University，Hangzhou 310000，China

Received:2024-05-14 Revised:2024-06-17 Accepted:2024-08-23 Online:2024-09-19 Published:2024-09-09
Contact: Xianliang GE E-mail:0918082@zju.edu.cn
Supported by:
National Level Project

摘要/Abstract

摘要：

为了更好地发挥大规模、异构集群无人机（UAV）在复杂任务中的重要作用，实现控制系统的集成化、简单化、智能化操控，改善现有无人机控制系统灵活性、通用性较差的问题，通过文献综述及半结构式专家访谈报告了无人机控制系统开发及优化需求，收集了系统设计建议，基于需求与建议初步绘制出一套低保真原型界面。该原型设计亮点在于提出了一套能够满足大规模、异构集群控制的规划架构，并加入了AI智能板块。从启发式可用性评估结果来看，原型整体满意度可达89%，同时也发现了存在的可用性问题，为今后的系统优化和应用研究指明了方向。

关键词: 无人机（UAV）集群, 大规模异构集群控制, 智能辅助, 原型设计, 启发式评估

Abstract:

In order to better utilize the important role of large-scale， heterogeneous UAV cluster in complex missions， realize the integration， simplicity， and intelligent manipulation of the control system， and improve the existing UAV control system's problem of poor flexibility and versatility， this study analyzes and refines the system development requirements through a literature review， collects system design suggestions by designing semi-structured expert interviews， and preliminarily draws up a set of Based on the requirements and suggestions， a preliminary low-fidelity prototype interface is drawn. The highlight of this prototype design is to propose a set of planning architecture that can satisfy large-scale， heterogeneous cluster control， and to add AI intelligent board design. From the results of the heuristic usability evaluation， the overall satisfaction can be up to 89%， and the usability problems of the prototype are unearthed， which points out the direction for future system optimization and application.

Key words: Unmanned Aerial Vehicles (UAV) swarm, large-scale heterogeneous cluster control, intelligent assistance, prototype design, heuristic evaluation

中图分类号:

V214.1

王月星, 周启扬, 李敏倩, 缪炜星, 陆炎迪, 葛贤亮. 无人机集群控制软件原型设计[J]. 航空学报, 2024, 45(20): 630678.

Yuexing WANG, Qiyang ZHOU, Minqian LI, Weixing MIAO, Yandi LU, Xianliang GE. Prototyping of UAV swarm control software[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(20): 630678.

图/表 5

图 1

图 2

图 3

表 1

表 2

参考文献 72

1	GERTLER J. U.S. Unmanned aerial systems［R］. Congressional Research Service， 2012.
2	HOBBS A， LYALL B. Human factors guidelines for unmanned aircraft systems［J］. Ergonomics in Design： The Quarterly of Human Factors Applications， 2016， 24（3）： 23-28.
3	YUAN C， ZHANG Y M， LIU Z X. A survey on technologies for automatic forest fire monitoring， detection， and fighting using unmanned aerial vehicles and remote sensing techniques［J］. Canadian Journal of Forest Research， 2015， 45（7）： 783-792.
4	DIXON S R， WICKENS C D， CHANG D. Mission control of multiple unmanned aerial vehicles： A workload analysis［J］. Human Factors， 2005， 47（3）： 479-487.
5	SKOROBOGATOV G， BARRADO C， SALAMÍ E. Multiple UAV systems： A survey［J］. Unmanned Systems， 2020， 8（2）： 149-169.
6	U. S. Army UAS Center of Excellence. U.S. Army unmanned aircraft systems roadmap 2010-2035［R］. U. S. Army UAS Center of Excellence （ATZQ-CDI-C） Bldg 5000， Lucky Star Street， 2010.
7	LIM Y， GARDI A， SABATINI R. UAS human factors and human-machine interface design［M］∥ESTRELA V V， HEMANTH J， SAOTOME O， et al， eds. Imaging and Sensing for Unmanned Aircraft Systems： Volume 2： Deployment and Applications， 2020： 23-48.
8	PAJARES G. Overview and current status of remote sensing applications based on unmanned aerial vehicles （UAVs）［J］. Photogrammetric Engineering & Remote Sensing， 2015， 81（4）： 281-330.
9	TEDIM F， LEONE V， AMRAOUI M， et al. Defining extreme wildfire events： Difficulties， challenges， and impacts［J］. Fire， 2018， 1（1）： 9.
10	BAILON-RUIZ R， LACROIX S. Wildfire remote sensing with UAVs： A review from the autonomy point of view［C］∥2020 International Conference on Unmanned Aircraft Systems （ICUAS）. Piscataway： IEEE Press， 2020： 412-420.
11	何文志. 无人机地面控制站软件通用化研究［J］. 现代电子技术， 2023， 46（20）： 95-100.
	HE W Z. Research on software universalization of UAV ground control station［J］. Modern Electronics Technique， 2023， 46（20）： 95-100 （in Chinese）.
12	屈旭涛，庄东晔，谢海斌. “低慢小” 无人机探测方法［J］. 指挥控制与仿真， 2020， 42（2）： 128-135.
	QU X T， ZHUANG D Y， XIE H B. Detection methods for low-slow-small （LSS） UAV［J］. Command Control & Simulation， 2020， 42（2）： 128-135 （in Chinese）.
13	李奇. 飞行器通用地面控制系统体系架构研究［J］. 无线电工程， 2015， 45（5）： 4-7， 37.
	LI Q. Research on general ground control system architecture of aerial vehicle［J］. Radio Engineering， 2015， 45（5）： 4-7， 37 （in Chinese）.
14	刘科. 无人机通用地面站软件的设计与实现［D］. 南昌：南昌航空大学， 2013.
	LIU K. Design and implementation of UAV universal ground station software［D］. Nanchang： Nanchang Hangkong University， 2013 （in Chinese）.
15	王林，张庆杰，朱华勇. 支持联合作战的UAS通用地面控制站研究［J］. 系统仿真学报， 2008， 20（22）： 6171-6175.
	WANG L， ZHANG Q J， ZHU H Y. Research of UAS common ground control station with support of joint operations［J］. Journal of System Simulation， 2008， 20（22）： 6171-6175 （in Chinese）.
16	陈庆锋. 通用无人机地面控制站研究与设计［J］. 电子测量技术， 2014， 37（5）： 4-8.
	CHEN Q F. Research and design of UAV common ground control station［J］. Electronic Measurement Technology， 2014， 37（5）： 4-8 （in Chinese）.
17	许为，葛列众，高在峰. 人-AI交互：实现“以人为中心AI”理念的跨学科新领域［J］. 智能系统学报， 2021， 16 （4）： 605-621.
	XU W， GE L Z， GAO Z F. Human-AI interaction： An emerging interdisciplinary domain for enabling human-centered AI［J］. CAAI Transactions on Intelligent Systems， 2021， 16 （4）： 605-621 （in Chinese）.
18	XU W. From automation to autonomy and autonomous vehicles［J］. Interactions， 2021， 28（1）： 48-53.
19	LIM Y， RANASINGHE K， GARDI A， et al. Human-machine interfaces and interactions for multi UAS operations［C］∥Proceedings of the 31th Congress of the International Council of the Aeronautical Sciences （ICAS 2018）， 2019.
20	SADRAEY M H. Design of unmanned aerial systems［M］. Hoboken： Wiley， 2020.
21	KELLER J. DARPA to develop swarming unmanned vehicles for better military reconnaissance［J］. Military & Aerospace Electronics， 2017， 28（2）： 4-6.
22	LIM Y， PONGSAKORNSATHIEN N， GARDI A， et al. Adaptive human-robot interactions for multiple unmanned aerial vehicles［J］. Robotics， 2021， 10（1）： 12.
23	SABATINI R， ROY A， BLASCH E， et al. Avionics systems panel research and innovation perspectives［J］. IEEE Aerospace and Electronic Systems Magazine， 2020， 35（12）： 58-72.
24	FORTMANN F， MENGERINGHAUSEN T. Development and evaluation of an assistant system to aid monitoring behavior during multi-UAV supervisory control： experiences from the D3CoS project［C］∥Proceedings of the 2014 European Conference on Cognitive Ergonomics. New York： ACM， 2014： 1–8.
25	CUMMINGS M L， MITCHELL P J. Automated scheduling decision support for supervisory control of multiple UAVs［J］. Journal of Aerospace Computing， Information， and Communication， 2006， 3（6）： 294-308.
26	BRZEZINSKI A， SEYBOLD A， CUMMINGS M. Decision support visualizations for schedule management of multiple unmanned aerial vehicles［C］∥Proceedings of the AIAA Infotech@Aerospace 2007 Conference and Exhibit. Reston： AIAA， 2007.
27	FUCHS C， BORST C， DE CROON G C H E， et al. An ecological approach to the supervisory control of UAV swarms［J］. International Journal of Micro Air Vehicles， 2014， 6（4）： 211-229.
28	BOCANIALA C D， SASTRY V V S S. On enhanced situational awareness models for Unmanned Aerial Systems［C］∥2010 IEEE Aerospace Conference. Piscataway： IEEE Press， 2010： 1-14.
29	LIM Y X， SAMREELOY T， CHANTARAVIWAT C， et al. Cognitive human-machine interfaces and interactions for multi-UAV operations［C］∥18th Australian International Aerospace Congress. 2019.
30	PLANKE L J， GARDI A， SABATINI R， et al. Online multimodal inference of mental workload for cognitive human machine systems［J］. Computers， 2021， 10（6）： 81.
31	ENDSLEY M R， KABER D B. Level of automation effects on performance， situation awareness and workload in a dynamic control task［J］. Ergonomics， 1999， 42（3）： 462-492.
32	PONGSAKORNSATHIEN N， GARDI A， SABATINI R， et al. Human-machine interactions in very-low-level UAS operations and traffic management［C］∥2020 AIAA/IEEE 39th Digital Avionics Systems Conference （DASC）. Piscataway： IEEE Press， 2020： 1-8.
33	WOHLEBER R W， MATTHEWS G， LIN J C， et al. Vigilance and automation dependence in operation of multiple unmanned aerial systems （UAS）： A simulation study［J］. Human Factors， 2019， 61（3）： 488-505.
34	RUFF H A， NARAYANAN S， DRAPER M H. Human interaction with levels of automation and decision-aid fidelity in the supervisory control of multiple simulated unmanned air vehicles［J］. Presence， 2002， 11（4）： 335-351.
35	CALHOUN G L， RUFF H A， DRAPER M H， et al. Automation-level transference effects in simulated multiple unmanned aerial vehicle control［J］. Journal of Cognitive Engineering and Decision Making， 2011， 5（1）： 55-82.
36	YAO K L， XU Y H， LI H， et al. Leveraging partially overlapping channels for intra- and inter-coalition communication in cooperative UAV swarms［J］. Science China Information Sciences， 2021， 64（4）： 140305.
37	MANATHARA J G， SUJIT P B， BEARD R W. Multiple UAV coalitions for a search and prosecute mission［J］. Journal of Intelligent & Robotic Systems， 2011， 62（1）： 125-158.
38	ALI S A， GAO X G， FU X W. Resource match cost based multi-UAV decentralized coalition formation in an unknown region［C］∥2017 14th International Bhurban Conference on Applied Sciences and Technology （IBCAST）. Piscataway： IEEE Press， 2017： 297-304.
39	KENT T， RICHARDS A， JOHNSON A. Homogeneous agent behaviours for the multi-agent simultaneous searching and routing problem［J］. Drones， 2022， 6（2）： 51.
40	ALFEO A L， CIMINO M G C A， DE FRANCESCO N， et al. Swarm coordination of mini-UAVs for target search using imperfect sensors［J］. Intelligent Decision Technologies， 2018， 12（2）： 149-162.
41	SHANMUGAVEL M， TSOURDOS A， WHITE B， et al. Co-operative path planning of multiple UAVs using Dubins paths with clothoid arcs［J］. Control Engineering Practice， 2010， 18（9）： 1084-1092.
42	WEI Y， BLAKE M B， MADEY G R. An operation-time simulation framework for UAV swarm configuration and mission planning［J］. Procedia Computer Science， 2013， 18： 1949-1958.
43	DASGUPTA P. A multiagent swarming system for distributed automatic target recognition using unmanned aerial vehicles［J］. IEEE Transactions on Systems， Man， and Cybernetics-Part A： Systems and Humans， 2008， 38（3）： 549-563.
44	KURIKI Y， NAMERIKAWA T. Formation control with collision avoidance for a multi-UAV system using decentralized MPC and consensus-based control［C］∥2015 European Control Conference （ECC）. Piscataway： IEEE Press， 2015： 3079-3084.
45	BURSTON M， RANASINGHE K， GARDI A， et al. Design principles and digital control of advanced distributed propulsion systems［J］. Energy， 2022， 241： 122788.
46	RANASINGHE K， BIJJAHALLI S， GARDI A， et al. Intelligent health and mission management for multicopter UAS integrity assurance［C］∥ 2021 IEEE/AIAA 40th Digital Avionics Systems Conference （DASC）. Piscataway： IEEE Press， 2021： 1-9.
47	RANASINGHE K， KAPOOR R， GARDI A， et al. Vehicular sensor network and data analytics for a health and usage management system［J］. Sensors， 2020， 20（20）： 5892.
48	SABATINI R， KRAMER K A， BLASCH E， et al. From the editors of the special issue on avionics systems： Future challenges［J］. IEEE Aerospace and Electronic Systems Magazine， 2021， 36（4）： 5-6.
49	BIJJAHALLI S， SABATINI R， GARDI A. Advances in intelligent and autonomous navigation systems for small UAS［J］. Progress in Aerospace Sciences， 2020， 115： 100617.
50	TERWILLIGER B A， ISON D C， VINCENZI D A， et al. Advancement and application of unmanned aerial system human-machine-interface （HMI） technology［M］∥ Lecture Notes in Computer Science. Cham： Springer International Publishing， 2014： 273-283.
51	FRIEDRICH M， LIEB J. A novel human machine interface to support supervision and guidance of multiple highly automated unmanned aircraft［C］∥2019 IEEE/AIAA 38th Digital Avionics Systems Conference （DASC）. Piscataway： IEEE Press， 2019： 1-7.
52	VINCENZI D A， TERWILLIGER B A， ISON D C. Unmanned aerial system （UAS） human-machine interfaces： New paradigms in command and control［J］. Procedia Manufacturing， 2015， 3： 920-927.
53	LIU J， GARDI A， RAMASAMY S， et al. Cognitive pilot-aircraft interface for single-pilot operations［J］. Knowledge-Based Systems， 2016， 112： 37-53.
54	PESCHEL J M， MURPHY R R. On the human-machine interaction of unmanned aerial system mission specialists［J］. IEEE Transactions on Human-Machine Systems， 2013， 43（1）： 53-62.
55	YEH M， SWIDER C， JO Y J， et al. Human factors considerations in the design and evaluation of flight deck displays and controls： Version 2.0： DOT/FAA/TC-16/56， DOT-VNTSC-FAA-17-02 ［R］. Washington， D.C.： U.S. Department of Transportation Federal Aviation Administration Human Factors Division （ANG-C1）， 2016.
56	LIM Y， GARDI A， SABATINI R， et al. Avionics human-machine interfaces and interactions for manned and unmanned aircraft［J］. Progress in Aerospace Sciences， 2018， 102： 1-46.
57	KIDWELL B， CALHOUN G L， RUFF H A， et al. Adaptable and adaptive automation for supervisory control of multiple autonomous vehicles［J］. Proceedings of the Human Factors and Ergonomics Society Annual Meeting， 2012， 56（1）： 428-432.
58	SABATINI R. The future of avionics systems［C］∥IEEE AESS 2021 Distinguished Lecturer Webinar Series， Advances in CNS/ATM and Avionics Systems， 2021.
59	STROUMTSOS N， GILBREATH G， PRZYBYLSKI S. An intuitive graphical user interface for small UAS［C］∥ SPIE Proceedings Unmanned Systems Technology XV， 2013.
60	TOŽIČKA J， BALATA J， MIKOVĚC Z. Diverse trajectory planning for UAV control displays［C］∥Proceedings of the 2013 international conference on Autonomous agents and multi-agent systems. Richland： International Foundation for Autonomous Agents and Multiagent Systems， 2013： 1411–1412.
61	吴慧垚，徐杰，葛贤亮. 基于认知架构的无人机操作员意图预测技术研究［C］∥2019第七届中国指挥控制大会. 北京：中国指挥与控制学会， 2019： 361-365.
	WU H Y， XU J， GE X L. Research on UAV operator’s intention prediction based on cognitive model［C］∥Proceedings of the 7th China Command and Control Conference 2019. Beijing： Chinese Institute of Command and Control， 2019： 361-365 （in Chinese）.
62	李昱辉，蒋丰亦，章豪，等. 基于意图识别无人机地面站多级人机交互系统研究［C］∥中国航空学会第九届中国航空学会青年科技论坛论. 北京：中国航空学会， 2020： 720-727.
	LI Y H， JIANG F Y， ZHANG H， et al. Research on multi-level human-computer interaction system of UAV GCS based on intention recognition［C］∥Aeronautical Society of China Proceedings of the Ninth Aviation Society of China Youth Science and Technology Forum. Beijing： Aviation Society of China， 2020： 720-727 （in Chinese）.
63	YU Y P， HE D， HUA W D， et al. FlyingBuddy2： A brain-controlled assistant for the handicapped［C］∥Proceedings of the 2012 ACM Conference on Ubiquitous Computing. New York： ACM， 2012： 669-670.
64	HARTSON H REX. Human-computer interaction： Interdisciplinary roots and trends［J］. Journal of Systems and Software， 1998， 43（2）： 103-118.
65	ADELMAN L， RIEDEL S L. Handbook for evaluating knowledge-based systems［M］. Boston： Springer， 1997.
66	NIELSEN J， MOLICH R. Heuristic evaluation of user interfaces［C］∥Proceedings of the SIGCHI conference on Human factors in computing systems Empowering people-CHI’90. New York： ACM， 1990： 249–256.
67	JEFFRIES R， MILLER J R， WHARTON C， et al. User interface evaluation in the real world： A comparison of four techniques［C］∥Proceedings of the SIGCHI conference on Human factors in computing systems Reaching through technology-CHI’91. New York： ACM， 1991： 119-124.
68	NIELSEN J， PHILLIPS V L. Estimating the relative usability of two interfaces： Heuristic， formal， and empirical methods compared［C］∥Proceedings of the SIGCHI conference on Human factors in computing systems-CHI’93. New York： ACM， 1993： 214-221.
69	NIELSEN J. Usability engineering［M］. San Francisco： Morgan Kaufmann Publishers Inc.， 1994： 19-268.
70	PLANKE L J， LIM Y， GARDI A， et al. A cyber-physical-human system for one-to-many UAS operations： Cognitive load analysis［J］. Sensors， 2020， 20（19）： 5467.
71	张佳鹏，赵兴梅，王兴龙. 无人机地面站静态操作界面人机工效评价［J］. 飞机设计， 2020， 40（4）： 49-53， 64.
	ZHANG J P， ZHAO X M， WANG X L. Man-machine ergonomics evaluation of static operation interface of UAV ground station［J］. Aircraft Design， 2020， 40（4）： 49-53， 64 （in Chinese）.
72	NIELSEN J， LANDAUER T K. A mathematical model of the finding of usability problems［C］∥Proceedings of the SIGCHI conference on Human factors in computing systems-CHI’93. New York： ACM， 1993： 206-213.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

编号	问题内容		同意程度评分
编号	问题内容	非常不同意（1）	2	3	4	非常同意（5）
1	该系统使用了简洁的文本信息
2	该系统显示的告警提示信息通用易懂

可用性指标	得分	严重程度	可能存在的可用性问题	可用性建议
视觉告警显著性	3.67	中等	告警信息不够显著，字号、颜色、位置、形式、突显等方面可改善	采用更合适的方式显示告警，避免造成遗漏忽视或醒目干扰；可多模态（视听）方式呈现
反馈信息可控性	4	较轻	界面信息量及内容无法自定义选择控制	可补充自定义功能；可结合状态识别技术做自适应界面；信息量与呈现方式做匹配调整；对于多步骤操作流程，状态和导航信息应放置到更容易注意到的位置
布局合理性	4.17	较轻	布局属于固定式，但可能出现不同信息量、呈现方式、呈现位置需求；导航、状态信息不醒目
智能防错	4.17	较轻	较少的错误预防设计或形式（仅AI和告警栏）不够醒目	通过告警或者控件、页面不可用等形式在错误设置前直接避免操作

[1]	施英杰刘斌超鲁嵩嵩陈亮尚海鲍蕊. 融合“试验-仿真”标定数据的机翼应变载荷关系神经网络模型[J]. 航空学报, 0, (): 0-0.
[2]	李跃明, 李晓云, 柴怡君, 杨雄伟. 飞机新牵引滑出方式下前起落架动响应分析[J]. 航空学报, 2022, 43(6): 526915-526915.
[3]	李跃明, 李晓云, 柴怡君, 杨雄伟. 飞机新牵引滑出方式下前起落架动响应分析[J]. 航空学报, 2022, 43(6): 526915-526915.
[4]	王彬文, 杨宇, 钱战森, 王志刚, 吕帅帅, 孙侠生. 机翼变弯度技术研究进展[J]. 航空学报, 2022, 43(1): 24943-024943.
[5]	李心耀, 张卫红, 陈亮. 固定网格中基于边界描述的CAD模型快速分析方法[J]. 航空学报, 2019, 40(6): 222693-222693.
[6]	李斌斌, 徐宗真, 李鹏, 赵一昭, 刘马宝. 考虑钉头传载的阶梯搭接钉载分配特性[J]. 航空学报, 2018, 39(7): 221816-221816.
[7]	朱继宏, 赵华, 刘涛, 张卫红. 简谐力激励下多组件结构系统的整体优化设计[J]. 航空学报, 2018, 39(1): 221575-221575.
[8]	王志刚, 杨宇, 段世慧. 基于参数化分析的柔性后缘优化设计[J]. 航空学报, 2017, 38(S1): 721562-721562.
[9]	朱继宏, 郭文杰, 张卫红, 何飞. 多组件结构系统布局拓扑优化中处理组件干涉约束的惩罚函数方法[J]. 航空学报, 2016, 37(12): 3721-3733.
[10]	冯蕴雯, 刘思宏, 薛小锋, 崔帅, 潘文廷. 基于实测值的舰载机着舰下沉速度影响性分析[J]. 航空学报, 2015, 36(11): 3578-3585.
[11]	张卫红, 郭文杰, 朱继宏. 部件级多组件结构系统的整体式拓扑布局优化[J]. 航空学报, 2015, 36(8): 2662-2669.
[12]	褚渊博, 袁朝辉, 张颖. 射流管式伺服阀冲蚀磨损特性[J]. 航空学报, 2015, 36(5): 1548-1555.
[13]	朱继宏, 李昱, 张卫红, 侯杰. 考虑多点保形的结构拓扑优化设计方法[J]. 航空学报, 2015, 36(2): 518-526.
[14]	周思达, 刘莉, 李昱霖, 周小陈. 高速飞行器热结构工作时变模态参数辨识[J]. 航空学报, 2015, 36(1): 373-380.
[15]	李斌, 王小兵, 董万元. 柔性悬臂梁的振动特性与等效线性化方法的局限性[J]. 航空学报, 2013, 34(9): 2150-2160.

无人机集群控制软件原型设计

Prototyping of UAV swarm control software

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 5

参考文献 72

相关文章 15

编辑推荐

Metrics

本文评价