无人机集群控制软件原型设计
收稿日期: 2024-05-14
修回日期: 2024-06-17
录用日期: 2024-08-23
网络出版日期: 2024-09-09
基金资助
国家级项目
Prototyping of UAV swarm control software
Received date: 2024-05-14
Revised date: 2024-06-17
Accepted date: 2024-08-23
Online published: 2024-09-09
Supported by
National Level Project
为了更好地发挥大规模、异构集群无人机（UAV）在复杂任务中的重要作用，实现控制系统的集成化、简单化、智能化操控，改善现有无人机控制系统灵活性、通用性较差的问题，通过文献综述及半结构式专家访谈报告了无人机控制系统开发及优化需求，收集了系统设计建议，基于需求与建议初步绘制出一套低保真原型界面。该原型设计亮点在于提出了一套能够满足大规模、异构集群控制的规划架构，并加入了AI智能板块。从启发式可用性评估结果来看，原型整体满意度可达89%，同时也发现了存在的可用性问题，为今后的系统优化和应用研究指明了方向。
关键词： 无人机（UAV）集群; 大规模异构集群控制; 智能辅助; 原型设计; 启发式评估
王月星 , 周启扬 , 李敏倩 , 缪炜星 , 陆炎迪 , 葛贤亮 . 无人机集群控制软件原型设计[J]. 航空学报, 2024 , 45(20) : 630678 -630678 . DOI: 10.7527/S1000-6893.2024.30678
In order to better utilize the important role of large-scale， heterogeneous UAV cluster in complex missions， realize the integration， simplicity， and intelligent manipulation of the control system， and improve the existing UAV control system's problem of poor flexibility and versatility， this study analyzes and refines the system development requirements through a literature review， collects system design suggestions by designing semi-structured expert interviews， and preliminarily draws up a set of Based on the requirements and suggestions， a preliminary low-fidelity prototype interface is drawn. The highlight of this prototype design is to propose a set of planning architecture that can satisfy large-scale， heterogeneous cluster control， and to add AI intelligent board design. From the results of the heuristic usability evaluation， the overall satisfaction can be up to 89%， and the usability problems of the prototype are unearthed， which points out the direction for future system optimization and application.
| 1 | GERTLER J. U.S. Unmanned aerial systems［R］. Congressional Research Service， 2012. |
| 2 | HOBBS A， LYALL B. Human factors guidelines for unmanned aircraft systems［J］. Ergonomics in Design： The Quarterly of Human Factors Applications， 2016， 24（3）： 23-28. |
| 3 | YUAN C， ZHANG Y M， LIU Z X. A survey on technologies for automatic forest fire monitoring， detection， and fighting using unmanned aerial vehicles and remote sensing techniques［J］. Canadian Journal of Forest Research， 2015， 45（7）： 783-792. |
| 4 | DIXON S R， WICKENS C D， CHANG D. Mission control of multiple unmanned aerial vehicles： A workload analysis［J］. Human Factors， 2005， 47（3）： 479-487. |
| 5 | SKOROBOGATOV G， BARRADO C， SALAMí E. Multiple UAV systems： A survey［J］. Unmanned Systems， 2020， 8（2）： 149-169. |
| 6 | U. S. Army UAS Center of Excellence. U.S. Army unmanned aircraft systems roadmap 2010-2035［R］. U. S. Army UAS Center of Excellence （ATZQ-CDI-C） Bldg 5000， Lucky Star Street， 2010. |
| 7 | LIM Y， GARDI A， SABATINI R. UAS human factors and human-machine interface design［M］∥ESTRELA V V， HEMANTH J， SAOTOME O， et al， eds. Imaging and Sensing for Unmanned Aircraft Systems： Volume 2： Deployment and Applications， 2020： 23-48. |
| 8 | PAJARES G. Overview and current status of remote sensing applications based on unmanned aerial vehicles （UAVs）［J］. Photogrammetric Engineering & Remote Sensing， 2015， 81（4）： 281-330. |
| 9 | TEDIM F， LEONE V， AMRAOUI M， et al. Defining extreme wildfire events： Difficulties， challenges， and impacts［J］. Fire， 2018， 1（1）： 9. |
| 10 | BAILON-RUIZ R， LACROIX S. Wildfire remote sensing with UAVs： A review from the autonomy point of view［C］∥2020 International Conference on Unmanned Aircraft Systems （ICUAS）. Piscataway： IEEE Press， 2020： 412-420. |
| 11 | 何文志. 无人机地面控制站软件通用化研究［J］. 现代电子技术， 2023， 46（20）： 95-100. |
| HE W Z. Research on software universalization of UAV ground control station［J］. Modern Electronics Technique， 2023， 46（20）： 95-100 （in Chinese）. | |
| 12 | 屈旭涛， 庄东晔， 谢海斌. “低慢小” 无人机探测方法［J］. 指挥控制与仿真， 2020， 42（2）： 128-135. |
| QU X T， ZHUANG D Y， XIE H B. Detection methods for low-slow-small （LSS） UAV［J］. Command Control & Simulation， 2020， 42（2）： 128-135 （in Chinese）. | |
| 13 | 李奇. 飞行器通用地面控制系统体系架构研究［J］. 无线电工程， 2015， 45（5）： 4-7， 37. |
| LI Q. Research on general ground control system architecture of aerial vehicle［J］. Radio Engineering， 2015， 45（5）： 4-7， 37 （in Chinese）. | |
| 14 | 刘科. 无人机通用地面站软件的设计与实现［D］. 南昌： 南昌航空大学， 2013. |
| LIU K. Design and implementation of UAV universal ground station software［D］. Nanchang： Nanchang Hangkong University， 2013 （in Chinese）. | |
| 15 | 王林， 张庆杰， 朱华勇. 支持联合作战的UAS通用地面控制站研究［J］. 系统仿真学报， 2008， 20（22）： 6171-6175. |
| WANG L， ZHANG Q J， ZHU H Y. Research of UAS common ground control station with support of joint operations［J］. Journal of System Simulation， 2008， 20（22）： 6171-6175 （in Chinese）. | |
| 16 | 陈庆锋. 通用无人机地面控制站研究与设计［J］. 电子测量技术， 2014， 37（5）： 4-8. |
| CHEN Q F. Research and design of UAV common ground control station［J］. Electronic Measurement Technology， 2014， 37（5）： 4-8 （in Chinese）. | |
| 17 | 许为， 葛列众， 高在峰. 人-AI交互：实现“以人为中心AI”理念的跨学科新领域［J］. 智能系统学报， 2021， 16 （4）： 605-621. |
| XU W， GE L Z， GAO Z F. Human-AI interaction： An emerging interdisciplinary domain for enabling human-centered AI［J］. CAAI Transactions on Intelligent Systems， 2021， 16 （4）： 605-621 （in Chinese）. | |
| 18 | XU W. From automation to autonomy and autonomous vehicles［J］. Interactions， 2021， 28（1）： 48-53. |
| 19 | LIM Y， RANASINGHE K， GARDI A， et al. Human-machine interfaces and interactions for multi UAS operations［C］∥Proceedings of the 31th Congress of the International Council of the Aeronautical Sciences （ICAS 2018）， 2019. |
| 20 | SADRAEY M H. Design of unmanned aerial systems［M］. Hoboken： Wiley， 2020. |
| 21 | KELLER J. DARPA to develop swarming unmanned vehicles for better military reconnaissance［J］. Military & Aerospace Electronics， 2017， 28（2）： 4-6. |
| 22 | LIM Y， PONGSAKORNSATHIEN N， GARDI A， et al. Adaptive human-robot interactions for multiple unmanned aerial vehicles［J］. Robotics， 2021， 10（1）： 12. |
| 23 | SABATINI R， ROY A， BLASCH E， et al. Avionics systems panel research and innovation perspectives［J］. IEEE Aerospace and Electronic Systems Magazine， 2020， 35（12）： 58-72. |
| 24 | FORTMANN F， MENGERINGHAUSEN T. Development and evaluation of an assistant system to aid monitoring behavior during multi-UAV supervisory control： experiences from the D3CoS project［C］∥Proceedings of the 2014 European Conference on Cognitive Ergonomics. New York： ACM， 2014： 1–8. |
| 25 | CUMMINGS M L， MITCHELL P J. Automated scheduling decision support for supervisory control of multiple UAVs［J］. Journal of Aerospace Computing， Information， and Communication， 2006， 3（6）： 294-308. |
| 26 | BRZEZINSKI A， SEYBOLD A， CUMMINGS M. Decision support visualizations for schedule management of multiple unmanned aerial vehicles［C］∥Proceedings of the AIAA Infotech@Aerospace 2007 Conference and Exhibit. Reston： AIAA， 2007. |
| 27 | FUCHS C， BORST C， DE CROON G C H E， et al. An ecological approach to the supervisory control of UAV swarms［J］. International Journal of Micro Air Vehicles， 2014， 6（4）： 211-229. |
| 28 | BOCANIALA C D， SASTRY V V S S. On enhanced situational awareness models for Unmanned Aerial Systems［C］∥2010 IEEE Aerospace Conference. Piscataway： IEEE Press， 2010： 1-14. |
| 29 | LIM Y X， SAMREELOY T， CHANTARAVIWAT C， et al. Cognitive human-machine interfaces and interactions for multi-UAV operations［C］∥18th Australian International Aerospace Congress. 2019. |
| 30 | PLANKE L J， GARDI A， SABATINI R， et al. Online multimodal inference of mental workload for cognitive human machine systems［J］. Computers， 2021， 10（6）： 81. |
| 31 | ENDSLEY M R， KABER D B. Level of automation effects on performance， situation awareness and workload in a dynamic control task［J］. Ergonomics， 1999， 42（3）： 462-492. |
| 32 | PONGSAKORNSATHIEN N， GARDI A， SABATINI R， et al. Human-machine interactions in very-low-level UAS operations and traffic management［C］∥2020 AIAA/IEEE 39th Digital Avionics Systems Conference （DASC）. Piscataway： IEEE Press， 2020： 1-8. |
| 33 | WOHLEBER R W， MATTHEWS G， LIN J C， et al. Vigilance and automation dependence in operation of multiple unmanned aerial systems （UAS）： A simulation study［J］. Human Factors， 2019， 61（3）： 488-505. |
| 34 | RUFF H A， NARAYANAN S， DRAPER M H. Human interaction with levels of automation and decision-aid fidelity in the supervisory control of multiple simulated unmanned air vehicles［J］. Presence， 2002， 11（4）： 335-351. |
| 35 | CALHOUN G L， RUFF H A， DRAPER M H， et al. Automation-level transference effects in simulated multiple unmanned aerial vehicle control［J］. Journal of Cognitive Engineering and Decision Making， 2011， 5（1）： 55-82. |
| 36 | YAO K L， XU Y H， LI H， et al. Leveraging partially overlapping channels for intra- and inter-coalition communication in cooperative UAV swarms［J］. Science China Information Sciences， 2021， 64（4）： 140305. |
| 37 | MANATHARA J G， SUJIT P B， BEARD R W. Multiple UAV coalitions for a search and prosecute mission［J］. Journal of Intelligent & Robotic Systems， 2011， 62（1）： 125-158. |
| 38 | ALI S A， GAO X G， FU X W. Resource match cost based multi-UAV decentralized coalition formation in an unknown region［C］∥2017 14th International Bhurban Conference on Applied Sciences and Technology （IBCAST）. Piscataway： IEEE Press， 2017： 297-304. |
| 39 | KENT T， RICHARDS A， JOHNSON A. Homogeneous agent behaviours for the multi-agent simultaneous searching and routing problem［J］. Drones， 2022， 6（2）： 51. |
| 40 | ALFEO A L， CIMINO M G C A， DE FRANCESCO N， et al. Swarm coordination of mini-UAVs for target search using imperfect sensors［J］. Intelligent Decision Technologies， 2018， 12（2）： 149-162. |
| 41 | SHANMUGAVEL M， TSOURDOS A， WHITE B， et al. Co-operative path planning of multiple UAVs using Dubins paths with clothoid arcs［J］. Control Engineering Practice， 2010， 18（9）： 1084-1092. |
| 42 | WEI Y， BLAKE M B， MADEY G R. An operation-time simulation framework for UAV swarm configuration and mission planning［J］. Procedia Computer Science， 2013， 18： 1949-1958. |
| 43 | DASGUPTA P. A multiagent swarming system for distributed automatic target recognition using unmanned aerial vehicles［J］. IEEE Transactions on Systems， Man， and Cybernetics-Part A： Systems and Humans， 2008， 38（3）： 549-563. |
| 44 | KURIKI Y， NAMERIKAWA T. Formation control with collision avoidance for a multi-UAV system using decentralized MPC and consensus-based control［C］∥2015 European Control Conference （ECC）. Piscataway： IEEE Press， 2015： 3079-3084. |
| 45 | BURSTON M， RANASINGHE K， GARDI A， et al. Design principles and digital control of advanced distributed propulsion systems［J］. Energy， 2022， 241： 122788. |
| 46 | RANASINGHE K， BIJJAHALLI S， GARDI A， et al. Intelligent health and mission management for multicopter UAS integrity assurance［C］∥ 2021 IEEE/AIAA 40th Digital Avionics Systems Conference （DASC）. Piscataway： IEEE Press， 2021： 1-9. |
| 47 | RANASINGHE K， KAPOOR R， GARDI A， et al. Vehicular sensor network and data analytics for a health and usage management system［J］. Sensors， 2020， 20（20）： 5892. |
| 48 | SABATINI R， KRAMER K A， BLASCH E， et al. From the editors of the special issue on avionics systems： Future challenges［J］. IEEE Aerospace and Electronic Systems Magazine， 2021， 36（4）： 5-6. |
| 49 | BIJJAHALLI S， SABATINI R， GARDI A. Advances in intelligent and autonomous navigation systems for small UAS［J］. Progress in Aerospace Sciences， 2020， 115： 100617. |
| 50 | TERWILLIGER B A， ISON D C， VINCENZI D A， et al. Advancement and application of unmanned aerial system human-machine-interface （HMI） technology［M］∥ Lecture Notes in Computer Science. Cham： Springer International Publishing， 2014： 273-283. |
| 51 | FRIEDRICH M， LIEB J. A novel human machine interface to support supervision and guidance of multiple highly automated unmanned aircraft［C］∥2019 IEEE/AIAA 38th Digital Avionics Systems Conference （DASC）. Piscataway： IEEE Press， 2019： 1-7. |
| 52 | VINCENZI D A， TERWILLIGER B A， ISON D C. Unmanned aerial system （UAS） human-machine interfaces： New paradigms in command and control［J］. Procedia Manufacturing， 2015， 3： 920-927. |
| 53 | LIU J， GARDI A， RAMASAMY S， et al. Cognitive pilot-aircraft interface for single-pilot operations［J］. Knowledge-Based Systems， 2016， 112： 37-53. |
| 54 | PESCHEL J M， MURPHY R R. On the human-machine interaction of unmanned aerial system mission specialists［J］. IEEE Transactions on Human-Machine Systems， 2013， 43（1）： 53-62. |
| 55 | YEH M， SWIDER C， JO Y J， et al. Human factors considerations in the design and evaluation of flight deck displays and controls： Version 2.0： DOT/FAA/TC-16/56， DOT-VNTSC-FAA-17-02 ［R］. Washington， D.C.： U.S. Department of Transportation Federal Aviation Administration Human Factors Division （ANG-C1）， 2016. |
| 56 | LIM Y， GARDI A， SABATINI R， et al. Avionics human-machine interfaces and interactions for manned and unmanned aircraft［J］. Progress in Aerospace Sciences， 2018， 102： 1-46. |
| 57 | KIDWELL B， CALHOUN G L， RUFF H A， et al. Adaptable and adaptive automation for supervisory control of multiple autonomous vehicles［J］. Proceedings of the Human Factors and Ergonomics Society Annual Meeting， 2012， 56（1）： 428-432. |
| 58 | SABATINI R. The future of avionics systems［C］∥IEEE AESS 2021 Distinguished Lecturer Webinar Series， Advances in CNS/ATM and Avionics Systems， 2021. |
| 59 | STROUMTSOS N， GILBREATH G， PRZYBYLSKI S. An intuitive graphical user interface for small UAS［C］∥ SPIE Proceedings Unmanned Systems Technology XV， 2013. |
| 60 | TO?I?KA J， BALATA J， MIKOVěC Z. Diverse trajectory planning for UAV control displays［C］∥Proceedings of the 2013 international conference on Autonomous agents and multi-agent systems. Richland： International Foundation for Autonomous Agents and Multiagent Systems， 2013： 1411–1412. |
| 61 | 吴慧垚， 徐杰， 葛贤亮. 基于认知架构的无人机操作员意图预测技术研究［C］∥2019第七届中国指挥控制大会. 北京： 中国指挥与控制学会， 2019： 361-365. |
| WU H Y， XU J， GE X L. Research on UAV operator’s intention prediction based on cognitive model［C］∥Proceedings of the 7th China Command and Control Conference 2019. Beijing： Chinese Institute of Command and Control， 2019： 361-365 （in Chinese）. | |
| 62 | 李昱辉， 蒋丰亦， 章豪， 等. 基于意图识别无人机地面站多级人机交互系统研究［C］∥中国航空学会第九届中国航空学会青年科技论坛论. 北京： 中国航空学会， 2020： 720-727. |
| LI Y H， JIANG F Y， ZHANG H， et al. Research on multi-level human-computer interaction system of UAV GCS based on intention recognition［C］∥Aeronautical Society of China Proceedings of the Ninth Aviation Society of China Youth Science and Technology Forum. Beijing： Aviation Society of China， 2020： 720-727 （in Chinese）. | |
| 63 | YU Y P， HE D， HUA W D， et al. FlyingBuddy2： A brain-controlled assistant for the handicapped［C］∥Proceedings of the 2012 ACM Conference on Ubiquitous Computing. New York： ACM， 2012： 669-670. |
| 64 | HARTSON H REX. Human-computer interaction： Interdisciplinary roots and trends［J］. Journal of Systems and Software， 1998， 43（2）： 103-118. |
| 65 | ADELMAN L， RIEDEL S L. Handbook for evaluating knowledge-based systems［M］. Boston： Springer， 1997. |
| 66 | NIELSEN J， MOLICH R. Heuristic evaluation of user interfaces［C］∥Proceedings of the SIGCHI conference on Human factors in computing systems Empowering people-CHI’90. New York： ACM， 1990： 249–256. |
| 67 | JEFFRIES R， MILLER J R， WHARTON C， et al. User interface evaluation in the real world： A comparison of four techniques［C］∥Proceedings of the SIGCHI conference on Human factors in computing systems Reaching through technology-CHI’91. New York： ACM， 1991： 119-124. |
| 68 | NIELSEN J， PHILLIPS V L. Estimating the relative usability of two interfaces： Heuristic， formal， and empirical methods compared［C］∥Proceedings of the SIGCHI conference on Human factors in computing systems-CHI’93. New York： ACM， 1993： 214-221. |
| 69 | NIELSEN J. Usability engineering［M］. San Francisco： Morgan Kaufmann Publishers Inc.， 1994： 19-268. |
| 70 | PLANKE L J， LIM Y， GARDI A， et al. A cyber-physical-human system for one-to-many UAS operations： Cognitive load analysis［J］. Sensors， 2020， 20（19）： 5467. |
| 71 | 张佳鹏， 赵兴梅， 王兴龙. 无人机地面站静态操作界面人机工效评价［J］. 飞机设计， 2020， 40（4）： 49-53， 64. |
| ZHANG J P， ZHAO X M， WANG X L. Man-machine ergonomics evaluation of static operation interface of UAV ground station［J］. Aircraft Design， 2020， 40（4）： 49-53， 64 （in Chinese）. | |
| 72 | NIELSEN J， LANDAUER T K. A mathematical model of the finding of usability problems［C］∥Proceedings of the SIGCHI conference on Human factors in computing systems-CHI’93. New York： ACM， 1993： 206-213. |
/
| 〈 |
|
〉 |
CJA