智能无人机集群协同感知计算研究综述
收稿日期: 2024-07-05
修回日期: 2024-07-14
录用日期: 2024-07-24
网络出版日期: 2024-08-20
基金资助
国家自然科学基金(61960206008)
A review of intelligent UAV swarm collaborative perception and computation
Received date: 2024-07-05
Revised date: 2024-07-14
Accepted date: 2024-07-24
Online published: 2024-08-20
Supported by
National Natural Science Foundation of China(61960206008)
随着无人机智能化技术快速发展，无人机在智慧农业、灾后救援和战场侦察等领域具有广阔的应用前景。但是，感知计算能力有限的单无人机难以独立地完成实际应用中的复杂任务。因此，无人机集群协同感知计算技术被提出并成为未来无人机领域的主要研究方向。无人机集群协同感知计算技术是利用无线网络连接，多架无人机能够共享信息并协同地完成复杂的感知计算任务。从集群感知数据收集和协同感知策2方面，对无人机集群协同感知研究现状进行了深入调研分析。同时，详细归纳了无人机集群协同计算的最新研究进展，包括计算任务调度、算力资源分配以及数据存储策略。最后，探讨了智能无人机集群在协同感知计算方面的一些潜在研究问题和可行解决方法，如协同感知计算方法的可扩展性、多任务适应性以及开放无人机集群系统的协同感知计算方法等，为研究者对无人机集群协同感知计算的后续研究提供一定参考。
於志文 , 孙卓 , 程岳 , 郭斌 . 智能无人机集群协同感知计算研究综述[J]. 航空学报, 2024 , 45(20) : 630912 -630912 . DOI: 10.7527/S1000-6893.2024.30912
With the rapid development of intelligent UAV technology， UAVs have the vast prospects in many fields， such as smart agriculture， post-disaster rescue， and battlefield reconnaissance. However， the limited perceptual and computing capabilities of an individual UAV make it difficult to meet the complex environment and task requirements in practice. Therefore， the efficient collaborative perception and computation of UAV swarms have become the main development direction in the future UAV field. In this paper， we first present the basic concepts of collaborative perception and collaborative computation. For the collaborative perception， we review the latest progress in swarm perceptual data collection and collaborative perception strategy. For the collaborative computation， the optimal schemes of computation task scheduling， resource allocation and data catching are summarized and compared. In addition， we discuss the urgent problems of collaborative perception and computation from the perspective of UAVs. Some potential research directions are presented， providing a reference for the follow-up researchers.
| 1 | 李艳. 基于无人机遥感通信农业种植数测量系统设计［J］. 农机化研究， 2024， 46（3）： 205-208， 214. |
| LI Y. Design of agricultural planting number measurement system based on UAV remote sensing communication［J］. Journal of Agricultural Mechanization Research， 2024， 46（3）： 205-208， 214 （in Chinese）. | |
| 2 | 何怡静， 杨维. 基于视觉与激光融合的井下灾后救援无人机自主位姿估计［J］. 工矿自动化， 2024， 50（4）： 94-102. |
| HE Y J， YANG W. Autonomous pose estimation of underground disaster rescue drones based on visual and laser fusion［J］. Industry and Mine Automation， 2024， 50（4）： 94-102 （in Chinese）. | |
| 3 | 张洪碧， 孟凡松， 翟东航. 某局部冲突中无人机作战运用及启示［J］. 指挥控制与仿真， 2022， 44（4）： 16-20. |
| ZHANG H B， MENG F S， ZHAI D H. UAV operational application and its enlightenment in a certain regional conflict［J］. Command Control & Simulation， 2022， 44（4）： 16-20 （in Chinese）. | |
| 4 | LIU Y C， TIAN J J， MA C Y， et al. Who2com： Collaborative perception via learnable handshake communication［C］∥2020 IEEE International Conference on Robotics and Automation （ICRA）. Piscataway： IEEE Press， 2020： 6876-6883. |
| 5 | LIU Y C， TIAN J J， GLASER N， et al. When2com： Multi-agent perception via communication graph grouping［C］∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 4105-4114. |
| 6 | HU Y， FANG S H， LEI Z X， et al. Where2comm： Communication-efficient collaborative perception via spatial confidence maps［DB/OL］. arXiv preprint： 2209.12836， 2022. |
| 7 | PARK K W， KIM H M， SHIN O S. A survey on intelligent-reflecting-surface-assisted UAV communications［J］. Energies， 2022， 15（14）： 5143. |
| 8 | MU X D， LIU Y W， GUO L， et al. Intelligent reflecting surface enhanced multi-UAV NOMA networks［J］. IEEE Journal on Selected Areas in Communications， 2021， 39（10）： 3051-3066. |
| 9 | ZHAO J J， YU L， CAI K Q， et al. RIS-aided ground-aerial NOMA communications： A distributionally robust DRL approach［J］. IEEE Journal on Selected Areas in Communications， 2022， 40（4）： 1287-1301. |
| 10 | LI S X， DUO B， YUAN X J， et al. Reconfigurable intelligent surface assisted UAV communication： Joint trajectory design and passive beamforming［J］. IEEE Wireless Communications Letters， 2020， 9（5）： 716-720. |
| 11 | LI J Y， LIU J J. Sum rate maximization via reconfigurable intelligent surface in UAV communication： Phase shift and trajectory optimization［C］∥2020 IEEE/CIC International Conference on Communications in China （ICCC）. Piscataway： IEEE Press， 2020： 124-129. |
| 12 | TYROVOLAS D， MEKIKIS P V， TEGOS S A， et al. Energy-aware design of UAV-mounted RIS networks for IoT data collection［J］. IEEE Transactions on Communications， 2023， 71（2）： 1168-1178. |
| 13 | 程文辉， 张乾元， 程梁华， 等. 空地协同移动群智感知研究综述［J］. 计算机科学， 2022， 49（11）： 242-249. |
| CHENG W H， ZHANG Q Y， CHENG L H， et al. Review of mobile air-ground crowdsensing［J］. Computer Science， 2022， 49（11）： 242-249 （in Chinese）. | |
| 14 | GAO Y， CHEN J F， CHEN X， et al. Asymmetric self-play-enabled intelligent heterogeneous multirobot catching system using deep multiagent reinforcement learning［J］. IEEE Transactions on Robotics， 2023， 39（4）： 2603-2622. |
| 15 | YE Y X， LIU C H， DAI Z P， et al. Exploring both individuality and cooperation for air-ground spatial crowdsourcing by multi-agent deep reinforcement learning［C］∥2023 IEEE 39th International Conference on Data Engineering （ICDE）. Piscataway： IEEE Press， 2023： 205-217. |
| 16 | TRANZATTO M， MIKI T， DHARMADHIKARI M， et al. CERBERUS in the DARPA subterranean challenge［J］. Science Robotics， 2022， 7（66）： eabp9742. |
| 17 | ZHANG L L， GAO F， DENG F， et al. Distributed estimation of a layered architecture for collaborative air-ground target geolocation in outdoor environments［J］. IEEE Transactions on Industrial Electronics， 2023， 70（3）： 2822-2832. |
| 18 | BAO L Y， LUO J， BAO H Q， et al. Cooperative computation and cache scheduling for UAV-enabled MEC networks［J］. IEEE Transactions on Green Communications and Networking， 2022， 6（2）： 965-978. |
| 19 | ZHENG G Y， XU C， WEN M W， et al. Service caching based aerial cooperative computing and resource allocation in multi-UAV enabled MEC systems［J］. IEEE Transactions on Vehicular Technology， 2022， 71（10）： 10934-10947. |
| 20 | ZHOU R T， WU X Y， TAN H S， et al. Two time-scale joint service caching and task offloading for UAV-assisted mobile edge computing［C］∥IEEE INFOCOM 2022 - IEEE Conference on Computer Communications. Piscataway： IEEE Press， 2022： 1189-1198. |
| 21 | LIU Y N， YANG C， CHEN X， et al. Joint hybrid caching and replacement scheme for UAV-assisted vehicular edge computing networks［J］. IEEE Transactions on Intelligent Vehicles， 2024， 9（1）： 866-878. |
| 22 | GAO X X， ZHAI L B. Service experience oriented cooperative computing in cache-enabled UAVs assisted MEC networks［J］. IEEE Transactions on Mobile Computing， 2024， PP（99）： 1-16. |
| 23 | ZHOU Y， PAN C H， YEOH P L， et al. Communication-and-computing latency minimization for UAV-enabled virtual reality delivery systems［J］. IEEE Transactions on Communications， 2021， 69（3）： 1723-1735. |
| 24 | ZHANG B L， WANG M， YU J L， et al. Joint 3-D position deployment and traffic offloading for caching and computing-enabled UAV under asymmetric information［J］. IEEE Internet of Things Journal， 2023， 10（7）： 6312-6323. |
| 25 | 孙立峰， 宋新航， 蒋树强， 等. 多模态协同感知与融合技术专题前言［J］. 软件学报， 2024， 35（5）： 2099-2100. |
| SUN L F， SONG X H， JIANG S Q， et al. Preface of multimodal collaborative sensing and fusion technology［J］. Journal of Software， 2024， 35（5）： 2099-2100 （in Chinese）. | |
| 26 | HU Y， PANG X H， QIN X Q， et al. Pragmatic communication in multi-agent collaborative perception［DB/OL］. arXiv preprint： 2401.12694， 2024. |
| 27 | YUAN Q， FU X Y， LI Z Y， et al. GraphComm： Efficient graph convolutional communication for multiagent cooperation［J］. IEEE Internet of Things Journal， 2021， 8（22）： 16359-16369. |
| 28 | HU Y， LU Y F， XU R S， et al. Collaboration helps camera overtake LiDAR in 3D detection［C］∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2023： 9243-9252. |
| 29 | ZHANG Y A， AN H N， FANG Z R， et al. SmartCooper： Vehicular collaborative perception with adaptive fusion and judger mechanism［DB/OL］. arXiv preprint： 2402.00321， 2024. |
| 30 | FAN C Y， HU J J， HUANG J W. Few-shot multi-agent perception［C］∥Proceedings of the 29th ACM International Conference on Multimedia. New York： ACM， 2021： 1712-1720. |
| 31 | WANG B L， ZHANG L， WANG Z Z， et al. Core： Cooperative reconstruction for multi-agent perception［C］∥ 2023 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2023： 8676-8686. |
| 32 | SHENG Y C， YE H， LIANG L， et al. Semantic communication for cooperative perception based on importance map［J］. Journal of the Franklin Institute， 2024， 361（6）： 106739. |
| 33 | YANG D K， YANG K， WANG Y Z， et al. How2comm： Communication-efficient and collaboration-pragmatic multi-agent perception［J］. Advances in Neural Information Processing Systems， 2024， 25151–25164. |
| 34 | LEI Z X， REN S L， HU Y， et al. Latency-aware collaborative perception［C］∥European Conference on Computer Vision. Cham： Springer， 2022： 316-332. |
| 35 | LU Y F， HU Y， ZHONG Y Q， et al. An extensible framework for open heterogeneous collaborative perception［DB/OL］. arXiv preprint： 2401.13964， 2024. |
| 36 | JACQUET M， KIVITS M， DAS H， et al. Motor-level N-MPC for cooperative active perception with multiple heterogeneous UAVs［J］. IEEE Robotics and Automation Letters， 2022， 7（2）： 2063-2070. |
| 37 | WANG J， WU Y X， CHEN Y Q， et al. Multi-UAVs collaborative tracking of moving target with maximized visibility in urban environment［J］. Journal of the Franklin Institute， 2022， 359（11）： 5512-5532. |
| 38 | YANG L J， LIU Z H， ZHANG X， et al. Image-based distributed predictive visual servo control for cooperative tracking of multiple fixed-wing UAVs［J］. IEEE Robotics and Automation Letters， 2024， 9（9）： 7779-7786. |
| 39 | LIU X， YU Y F， LI F， et al. Throughput maximization for RIS-UAV relaying communications［J］. IEEE Transactions on Intelligent Transportation Systems， 2022， 23（10）： 19569-19574. |
| 40 | GIRISHA S， VERMA U， MANOHARA PAI M M， et al. UVid-net： Enhanced semantic segmentation of UAV aerial videos by embedding temporal information［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2021， 14： 4115-4127. |
| 41 | CHAKRAVARTHY A S， SINHA S， NARANG P， et al. DroneSegNet： Robust aerial semantic segmentation for UAV-based IoT applications［J］. IEEE Transactions on Vehicular Technology， 2022， 71（4）： 4277-4286. |
| 42 | YUN W J， LIM B， JUNG S， et al. Attention-based reinforcement learning for real-time UAV semantic communication［C］∥2021 17th International Symposium on Wireless Communication Systems （ISWCS）. Piscataway： IEEE Press， 2021： 1-6. |
| 43 | XU J Q， YAO H P， ZHANG R， et al. Federated learning powered semantic communication for UAV swarm cooperation［J］. IEEE Wireless Communications， 2024， 31（4）： 140-146. |
| 44 | SONG X， YUAN L， QU Z B， et al. Knowledge graph driven UAV cognitive semantic communication systems for efficient object detection［DB/OL］. arXiv preprint： 2401.13995， 2024. |
| 45 | MILLER I D， CLADERA F， SMITH T， et al. Stronger together： Air-ground robotic collaboration using semantics［J］. IEEE Robotics and Automation Letters， 2022， 7（4）： 9643-9650. |
| 46 | YU C， LIU Z X， LIU X J， et al. DS-SLAM： A semantic visual SLAM towards dynamic environments［C］∥2018 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Piscataway： IEEE Press， 2018： 1168-1174. |
| 47 | NGUYEN D H. A nature-inspired distributed robust control design for ground-aerial vehicle cooperation［J］. IEEE Transactions on Intelligent Transportation Systems， 2023， 24（4）： 4454-4463. |
| 48 | YU Q F， SHEN Z X， PANG Y J， et al. Proficiency constrained multi-agent reinforcement learning for environment-adaptive multi UAV-UGV teaming［C］∥2021 IEEE 17th International Conference on Automation Science and Engineering （CASE）. Piscataway： IEEE Press， 2021： 2114-2118. |
| 49 | 马婷钰， 江驹， 张哲， 等. 复杂环境下异构无人机集群协同目标搜索方法［J］. 电光与控制， 2024， 31（6）： 1-7. |
| MA T Y， JIANG J， ZHANG Z， et al. A collaborative target search method for heterogeneous UAV swarms in complex environments［J］. Electronics Optics & Control， 2024， 31（6）： 1-7 （in Chinese）. | |
| 50 | STALLINGS W. Web-based security protocols［M］. 4th ed. Upper Saddle River： Prentice-Hall， 2011. |
| 51 | MEKDAD Y， ARIS A， BABUN L， et al. A survey on security and privacy issues of UAVs［J］. Computer Networks， 2023， 224： 109626. |
| 52 | KALAITZAKIS M， CAIN B， VITZILAIOS N， et al. A marsupial robotic system for surveying and inspection of freshwater ecosystems［J］. Journal of Field Robotics， 2021， 38（1）： 121-138. |
| 53 | 郭永安， 王宇翱， 周沂， 等. 边缘网络下多无人机协同计算和资源分配联合优化策略［J］. 南京航空航天大学学报， 2023， 55（5）： 757-767. |
| GUO Y A， WANG Y A， ZHOU Y， et al. Multi-UAV collaborative computing and resource allocation joint optimization strategy in edge networks［J］. Journal of Nanjing University of Aeronautics & Astronautics， 2023， 55（5）： 757-767 （in Chinese）. | |
| 54 | KIM S. Collaborative game-based task offloading scheme in the UAV-TB-assisted battlefield network platform［J］. EURASIP Journal on Wireless Communications and Networking， 2024， 2024（1）： 11. |
| 55 | LI Y， WANG T Y， ZHANG Z Q， et al. A genetic algorithm based parallel task planning method for cooperative MRS［C］∥2023 26th ACIS International Winter Conference on Software Engineering， Artificial Intelligence， Networking and Parallel/Distributed Computing （SNPD-Winter）. Piscataway： IEEE Press， 2023： 171-175. |
| 56 | CUI W， LI R L， FENG Y X， et al. Distributed task allocation for a multi-UAV system with time window constraints［J］. Drones， 2022， 6（9）： 226. |
| 57 | GHASSEMI P， DEPAUW D， CHOWDHURY S. Decentralized dynamic task allocation in swarm robotic systems for disaster response： Extended abstract［C］∥2019 International Symposium on Multi-Robot and Multi-Agent Systems （MRS）. Piscataway： IEEE Press， 2019： 83-85. |
| 58 | FEI B W， LIU D Q， BAO W D， et al. RISE： Rolling-inspired scheduling for emergency tasks by heterogeneous UAVs［J］. Drones， 2022， 6（10）： 310. |
| 59 | CHOUDHURY S， GUPTA J K， KOCHENDERFER M J， et al. Dynamic multi-robot task allocation under uncertainty and temporal constraints［J］. Autonomous Robots， 2022， 46（1）： 231-247. |
| 60 | DUAN X J， LIU H Y， TANG H， et al. A novel hybrid auction algorithm for multi-UAVs dynamic task assignment［J］. IEEE Access， 2019， 8： 86207-86222. |
| 61 | AHMAD S， ZHANG J L， KHAN A， et al. JO-TADP： Learning-based cooperative dynamic resource allocation for MEC-UAV-enabled wireless network［J］. Drones， 2023， 7（5）： 303. |
| 62 | QUERALTA J P， RAITOHARJU J， GIA T N， et al. AutoSOS： Towards multi-UAV systems supporting maritime search and rescue with lightweight AI and edge computing［DB/OL］. arXiv preprint： 2005.03409， 2020. |
| 63 | MUKHERJEE A， MISRA S， SUKRUTHA A， et al. Distributed aerial processing for IoT-based edge UAV swarms in smart farming［J］. Computer Networks， 2020， 167： 107038. |
| 64 | ZHU A Q， LU H M， MA M F， et al. DELOFF： Decentralized learning-based task offloading for multi-UAVs in U2X-assisted heterogeneous networks［J］. Drones， 2023， 7（11）： 656. |
| 65 | 郭鸿志， 王宇涛， 王佳黛， 等. 面向复杂任务的多无人机协同计算资源分配与优化［J］. 无线电通信技术， 2022， 48（6）： 1012-1018. |
| GUO H Z， WANG Y T， WANG J D， et al. Multi-UAV cooperative computing resource allocation and optimization for complex tasks［J］. Radio Communications Technology， 2022， 48（6）： 1012-1018 （in Chinese）. | |
| 66 | LUO Q Y， LUAN T H， SHI W S， et al. Edge computing enabled energy-efficient multi-UAV cooperative target search［J］. IEEE Transactions on Vehicular Technology， 2023， 72（6）： 7757-7771. |
| 67 | WANG M， SHI S， GU S S， et al. Q-learning based computation offloading for multi-UAV-enabled cloud-edge computing networks［J］. IET Communications， 2020， 14（15）： 2481-2490. |
| 68 | JIANG Z F， CAO R Y， ZHANG S X. Joint optimization strategy of offloading in multi-UAVs-assisted edge computing networks［J］. Journal of Ambient Intelligence and Humanized Computing， 2023， 14（4）： 4385-4399. |
| 69 | GUAN X R， XUE J B. Energy-efficient computing offloading based on multi-UAV dispatch via NOMA in emergency communication networks［J］. Wireless Personal Communications， 2023， 133（1）： 199-226. |
| 70 | ZHENG S Y， REN Z Y， HOU X W， et al. Optimal communication-computing-caching for maximizing revenue in UAV-aided mobile edge computing［C］∥GLOBECOM 2020 - 2020 IEEE Global Communications Conference. Piscataway： IEEE Press， 2020： 1-6. |
| 71 | NASIR A A. Latency optimization of UAV-enabled MEC system for virtual reality applications under rician fading channels［J］. IEEE Wireless Communications Letters， 2021， 10（8）： 1633-1637. |
| 72 | KARLI U B， CHEN J T， ANTONY V N， et al. Alchemist： LLM-aided end-user development of robot applications［C］∥Proceedings of the 2024 ACM/IEEE International Conference on Human-Robot Interaction. New York： ACM， 2024： 361-370. |
/
| 〈 |
|
〉 |
CJA