Special Issue: Intergrated Air-Space-Ground Intelligent Networking

Optimization strategy for UAV swarm topology based on over-the-air computation

  • Kai XIONG 1, 2 ,
  • Dunxing LONG 1, 2 ,
  • Ke ZHANG 1, 2 ,
  • Supeng LENG , 1, 2
Expand
  • 1. School of Information and Communication Engineering,University of Electronic Science and Technology of China,Chengdu 611731,China
  • 2. Institute of Advanced Studies,University of Electronic Science and Technology of China (Shenzhen),Shenzhen 518110,China

Received date: 2025-10-13

  Revised date: 2025-11-06

  Accepted date: 2026-02-27

  Online published: 2026-03-19

Supported by

AVIC United Technology Center for Intelligent Decision-making and Coordinated Control Mechanism Model Research

Abstract

To address the urgent demand for efficient information exchange in Unmanned Aerial Vehicle (UAV) swarms for emergency rescue scenarios, this paper innovatively integrates Over-the-Air Computation (OAC) technology with spectral graph theory and proposes a novel topology optimization strategy oriented to low-latency and high-consistency communication. The inherent correlation mechanism among communication topology structure, time synchronization accuracy and state information consensus convergence is explicitly uncovered, and a corresponding theoretical quantitative model is established to characterize the interactions among the three factors. On this basis, a bi-level joint optimization framework is developed: the upper layer optimizes the network topology based on spectral graph theory criteria, and synergistically improves synchronization performance and consensus convergence rate by regulating the node degree distribution and loop characteristics of the swarm network; the lower layer adaptively adjusts the MAC-layer frame length to minimize the end-to-end communication latency. The proposed topology design criterion breaks through the limitations of traditional point-to-point communication paradigms and realizes the balanced optimization between the convergence condition and convergence rate of state information consensus. Extensive experimental results show that compared with the Deep Q-Network (DQN) based reinforcement learning benchmark, the proposed method achieves a maximum improvement of 37% in information collaboration efficiency, with drastically reduced algorithm execution time. Compared with traditional schemes, the proposed method exhibits prominent latency advantages in large-scale swarm scenarios, which provides solid theoretical support for efficient collaboration of UAV swarms in high time-critical application scenarios such as disaster emergency response.

Cite this article

Kai XIONG , Dunxing LONG , Ke ZHANG , Supeng LENG . Optimization strategy for UAV swarm topology based on over-the-air computation[J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2026 , 47(18) : 532902 -532902 . DOI: 10.7527/S1000-6893.2026.32902

在地震、洪水、山火等突发自然灾害场景中,传统地面通信设施往往遭受严重损毁,地面交通亦可能被阻断,给应急响应带来极大挑战。无人机(Unmanned Aerial Vehicle, UAV)集群凭借其部署迅速、机动灵活、运行成本低且覆盖范围广的显著优势,成为灾害现场信息获取、传输与决策的重要技术手段[1-3]。然而,单架无人机在执行复杂任务时,受限于视角范围、载荷类型及计算能力,难以满足现代应急救援对实时性、智能性与任务协同性的高要求[4-6]。多无人机协作的集群系统通过协同感知、决策与执行,可实现远超单机的系统效能,更好地适应复杂多变的低空作业[6-9]。
在无人机集群协同执行应急救援等高时效性任务过程中,各节点需频繁交换状态信息以实现整体集群任务协同,这对群内通信时延提出了严格要求[10-11]。空中计算(Over-the-Air Computation, OAC)技术作为融合通信与计算的新型范式,利用无线信道的叠加特性,允许多个节点在同一频段同时发送信号,接收端可在设备物理层直接获得数据聚合/加权求和结果,显著降低计算资源消耗并减少整体决策时延[12-15]。
如图1(a)所示,传统多址接入通信架构在接入点端恢复出每个节点的消息后,再进行目标函数的计算。为了避免节点间干扰,给每个节点分配正交传输资源。以频分多址(Frequency Division Multiple Access, FDMA)系统为例,只有当最后1个节点数据到达计算模块之后,才能开始一次完整计算。当节点数目增多且无线资源有限时,计算等待时延将会大大地增加,从而造成通信受限的计算问题。
图 1 空中计算与传统通信和计算分离架构对比

Fig.1 Comparison of over-the-air computing and traditional communication & computing separation architectures

而空中计算架构,如图1(b)所示,所有发送节点并行传输,接收节点直接在传输过程中通过信道叠加得到数据的加权求和结果。该过程无需计算模块参与,接收端可在该加权求和结果之上进行进一步数据处理,大幅缩短任务处理时延。
然而,空中计算的计算精度高度依赖于集群内部成员之间时间同步准确性,同步误差将增加整体任务执行时延。如图2所示,当集群成员之间同步存在偏差时,多节点信号在物理信道上电磁叠加将产生偏差,进而导致空中计算误差并触发重传机制,显著增加集群内部成员间信息协同时延。需要明确的是,信息协同效率包含状态信息一致性收敛保障以及一致性收敛速率。而这两部分都会受到集群拓扑结构和集群内通信时延影响[14,16]。因此,在不改变硬件功能的前提下,通过集群拓扑优化调整,可以降低集群内部通信时延,并提升成员间状态信息协同效率。
图 2 集群拓扑影响框图

Fig.2 Swarm topology influence framework

基于以上分析,提出一种基于空中计算的无人机集群优化策略,通过谱图理论联合优化集群网络拓扑结构与MAC层时帧长度,以降低集群内部通信时延并提升整体信息协同效率。主要贡献如下。
1) 将空中计算技术引入无人机集群协同任务执行过程,提出基于谱图理论设计拓扑优化策略。系统分析拓扑结构对状态信息协同效率(信息一致性收敛保障及其收敛速率)的影响机制。
2) 设计双层优化框架,上层优化集群网络拓扑结构以提升信息同步性能与收敛速率,下层自适应调整MAC时帧长度以最小化端到端通信时延。
3) 与深度Q网络(Deep Q-Network, DQN)方法以及无空中计算方案对比,验证了所提方法在信息协同效率上最大提升达37%,所提算法执行时间相较深度Q网络方法降低约3个数量级。

1 相关工作

随着人工智能以及通信技术的不断发展,无人机集群系统已经广泛应用于灾害应急和救援等场景。然而,无人机集群高效作业依赖于集群成员节点间信息的畅通交互。空中计算作为一种有前景的技术,可以减少集群的网络资源开销,提升信息交互效率。此外,无人机集群作为典型的分布式系统,其成员节点间信息一致性收敛条件和收敛速率也是集群系统的研究重点。

1.1 无人机集群拓扑优化

与单机系统相比,无人机集群具有更高的灵活性、更低的成本以及更强的鲁棒性。通过协同感知、协同决策和协同执行,集群能够实现远超单机的系统效能,适应更加复杂的作业环境。然而,集群的协同信息交互与任务执行性能高度依赖于其网络拓扑结构。因此,合理的拓扑构建方法对于提升无人机集群的时效性与任务精度至关重要。
在文献[17]中,作者提到如何应对复杂约束下无人机蜂群的协同是一个关键问题,文章参考使用自然界中的生物群体算法来解决这个问题,但该算法无法保证集群协同的快速稳定收敛。在文献[2]中,作者提到无人机集群广泛应用于搜索救援、网络通信和跟踪多个目标等多个领域。在各种应用场景中,无人机群必须根据任务需求采用特定的拓扑形状。这些编队不仅对任务的执行至关重要,而且在优化无人机网络通信和节能方面发挥着关键作用。在文献[5]中,作者提到与单体无人机作业相比,无人机集群系统在任务能力和效率方面具有巨大的优势和发展潜力,广泛应用于搜救、城市监视、灾害监视、应急中继和其他新的应用领域,无人机群的协同作战依托无人机节点之间的通信网络,实现指挥信息、位置运动信息、协同作战信息的交互。无人机集群协同作战和任务性能强烈依赖于稳定的网络拓扑结构,而能够更好地提供拓扑稳定性的网络拓扑构建方法可以显著提升集群系统执行复杂任务的稳定性。
综上,已有研究从多角度探讨了无人机集群的拓扑结构设计,但大多数工作并未充分关注分布式系统中状态信息一致性收敛保障和收敛速率这两个关键因素,而这制约了无人机集群在应急救援等时间敏感场景下的运行效率。

1.2 空中计算

近年来,OAC作为融合通信与计算的新型范式,受到了广泛关注。不同于传统的“先通信、后计算”架构,OAC 利用无线信道的叠加特性,可在物理层直接实现对多个节点上传数据的函数计算,从而大幅提升通信与计算效率。
在文献[18]中,作者将 OAC 引入车联网,实现车辆信息的快速聚合,从而降低系统时延。在文献[19]中,OAC 被证明在公共卫生、制造业、农业、能源、交通和物流等领域具有广泛应用前景,其性能优势随着设备数量的增加而进一步凸显,但并未考虑到空中计算对参数精确性的要求。文献[16]则系统总结了OAC的优势与挑战,指出其在多节点场景下能够显著提升计算速率,但也面临信道衰落、同步误差、CSI获取不准、安全性以及硬件非线性等挑战。其中,同步性问题尤为关键,因为OAC严格依赖于节点在时间、频率和相位上的精确对齐,一旦出现偏差将严重影响计算精度与系统稳定性。为此,现有研究通常引入预编码、功率控制与多设备协同等机制来增强OAC系统鲁棒性,但并未对影响空中计算准确性的时间同步因素进行系统建模。
综上所述,尽管现有研究分别从空中计算和无人机集群拓扑优化两个角度对协同通信问题进行了深入探讨,但仍存在明显不足。首先,现有空中计算相关研究主要集中于预编码设计、功率控制以及同步误差补偿等物理层技术,以对抗信道衰落和硬件不理想因素。然而,这类方法大多在既定网络结构下进行优化,较少从通信拓扑这一系统结构层面出发,系统性地提升多节点时间同步水平和状态信息一致性,从而保障空中计算在大规模集群场景下的稳定性与计算精度。其次,现有无人机集群拓扑优化研究多以点对点通信模型为基础,重点关注网络连通性、能耗或链路质量等指标,未能充分考虑空中计算这种依赖多节点同步叠加的通信与计算范式对网络拓扑在同步性和一致性方面提出的全新要求。上述研究缺口表明,有必要从系统层面联合考虑网络拓扑设计与空中计算特性,构建面向低时延、高一致性的信息协同机制,这正是所关注和解决的核心问题。

2 系统模型

集群应急救援场景如图3所示,当某些无人机收到应急救援信息后,它们将发布救灾点位置,并招募周围无人机到达该区域。被招募的多个无人机将形成集群编队共同飞向救灾点。多个无人机在协同飞行过程中势必需要保持较为一致的飞行动力学参数,以及协同操作以实现协同救援任务执行。因此,需要整个集群在飞行信息与任务信息上达成一致性。
图 3 无人机集群应急救援

Fig.3 UAV swarm for emergency rescue

在无人机集群执行协同任务时,集群中的各个无人机要达成状态信息一致性收敛,即各个无人机的飞行动力学状态信息(速度、加速度等)达成一致性收敛,需要满足[20]
τ m a x < π 2 λ m a x = τ G
式中: τ m a x为人机集群系统中任意两个节点之间最大的点对点通信时延; τ G为在当前拓扑特征下,达成状态信息一致性时所能够容忍的最大时延。此外,设通信拓扑的拉普拉斯矩阵为 L G,其特征值满足 λ 1 ≤ λ 2 ≤ … ≤ λ m a x。当前的拓扑特征由拉普拉斯矩阵的最大特征值 λ m a x所表征。由表达式可知, λ m a x越小, τ m a x越小,此时无人机能够更加稳定地达成状态信息一致性。而空中计算的引用可以进一步降低 τ m a x。但是空中计算的准确性也会受到状态信息一致性的影响,当各个节点之间的通信参数没能够达成一致时,此时空中计算会失败进而需要重传,进而影响到点对点通信时延。
此外,各个无人机达成状态信息一致性收敛也需要一定的时间,一致性时延越久,无人机集群执行任务的效率就越低。在分布式系统理论中,影响分布式系统达成状态信息一致性的收敛速率的决定因素是该拓扑所对应的拉普拉斯矩阵第二小特征值 λ 2 [20]。因此无人机集群的优化目标可设为
m a x    τ G - τ m a x + β λ 2            N 1 , N 2 , … , N k , t s . t . τ G - τ m a x > 0 λ 2 > 0 t m i n ≤ t ≤ t m a x
优化目标中既考虑了无人机集群状态信息一致性收敛的条件,即 τ G - τ m a x > 0,且越大越好;同时考虑了无人机集群达成状态信息一致性的效率,即 λ 2。 β为一致性速率的权重系数, N 1 , N 2 , … , N k为集群中各个节点的邻居向量, t为MAC层的时帧长度。
设无人机节点的信道容量为C,信道数为H,节点数为K,所有节点在每个时隙 t共同使用这H个信道。对于节点 i,与其可以进行通信的节点数目为 N i 0 < N i < K。在空中计算场景下,每个节点获取周围相连节点的信息,只使用其中一个信道资源。则节点 i与周围相连节点进行单次传输的最大点对点通信时延为
T i , m a x = K D D t t Q i
由于信道资源有限,无法在单一时隙内完成所有数据的传输,因此需要通过多轮传输完成信息交互。 D为每次传输的数据量, D t为每个时隙能够传输的数据量,其表达式为
D t = C H t
由香农公式可知
C = B H l o g 2 ( 1 + P / σ 2 )
式中: B为总带宽; P为信号功率; σ 2为噪声功率。
此外, Q i为由时间同步不准确导致的空中计算重传从而增加的传输时延,则 T i , m a x可表达为
T i , m a x = 1 + p i + p i 2 + ⋯ + p i n K D D t t
式中: p i为无人机通信拓扑引起节点 i进行空中计算的时间同步不准确的概率。进一步简化,可得
T i , m a x = l i m n → ∞ 1 - p i n 1 - p i K D D t t
p i = 1 - ( 1 - p ) N i
式中:p为单个节点时间不同步的概率。
因此,可以计算得到该集群网络所能具有的最大时延为
τ m a x = m a x i ∈ K   T i , m a x
基于以上分析,可以得知状态信息一致性收敛所能容忍的最大时延 τ G、网络点对点最大时延 τ m a x、拉普拉斯矩阵第二小特征值 λ 2都受到拓扑的影响,其中 τ m a x还受到时帧长度 t的影响。因此,考虑将优化目标分为两阶段:第1阶段为针对无人机集群的拓扑结构进行优化,以改善拉普拉斯矩阵的谱特性(即减小最大特征值 λ m a x,并增大第二小特征值 λ 2),从而提升状态信息一致性收敛速率;第2阶段为在拓扑确定的前提下,优化MAC层的时帧长度 t,以最小化集群的总体通信时延。
综上,系统优化问题可分解为“上层”与“下层”双层优化。上层通过调整无人机的通信连接关系(即拓扑优化)来影响系统的谱特征参数;下层则在该拓扑下进一步优化通信资源分配(时帧长度),以实现最优时延性能。接下来,首先基于谱图理论给出拓扑优化策略,并在此基础上对时帧长度进行联合优化。

3 系统优化

3.1 基于谱图理论的优化方案

3.1.1 拓扑优化策略

网络拓扑 G的拉普拉斯矩阵写作 L G,其中任意元素 L i j可写作
L i j = - 1          j ≠ i N i       j ∈ N i 0            其他 情况
根据盖尔圆盘定律,拉普拉斯矩阵的特征值满足
S L G = λ ∈ λ L G λ - N m a x G ≤ N m a x G
式中: N m a x为无人机集群中单个节点的最大度。据此可推导得
λ m a x ≤ 2 N m a x
因此,通过限制 N m a x可以减小 λ m a x。 λ 2为拉普拉斯矩阵的第二小特征值,其代表了图的连通性。 λ 2越大,在该拓扑下的状态信息一致性收敛速率也越快。主要影响因素为电导参数 Φ ( G ),其与 λ 2的关系为
1 2 λ 2 ≤ Φ ( G ) ≤ 2 λ 2
由此可知, λ 2随着电导的增大而增大。 Φ ( G )的表达式为[20]
Φ ( G ) = ∂ V k m i n { s ( V k ) , s ( V k c ) }
式中: ∂ V k为 G的任意一个非空子集的节点数; V k c为 V k的补集; s ( V k )为子集 V k节点度之和; s ( V k c )为补集中所有节点的度之和。为同时优化 λ m a x和 λ 2,提出如下准则[21]。
准则1 使 G中单个节点的最大度 N m a x尽可能小。根据盖尔圆盘定律,即式(11), N m a x越小则 λ m a x上限越低,可直接降低状态信息一致性容忍时延 τ G的约束压力。
准则2 使 G中所有节点的度尽可能相等。结合电导参数 Φ ( G )与 λ 2的关系,即式(13),均匀度可提升 Φ ( G ),进而增大 λ 2以加快信息收敛速率。
准则3 当 G中所有节点的度相等时,保证 G中至少要存在一个奇数长度的环路。这条准则保证 λ m a x无法取到 2 N m a x的理论上限。
此外, τ m a x也会受到拓扑的影响。事实上,影响 τ m a x的因素是 N m a x, N m a x越小, τ m a x越小。而在优化 λ m a x和 λ 2的过程当中,已使 N m a x尽可能小。因此,拓扑阶段的优化目标式(2)可简化为
m a x   τ G + β λ 2            N 1 , N 2 , … , N k s . t      τ G - τ m a x > 0            λ 2 > 0
基于谱图理论优化准则,以目标函数最大化为目标,设计拓扑搜索流程。假设无人机集群节点数为 K,搜索过程从节点度的最小可行值开始,逐步遍历至最大约束值,最终筛选出最优拓扑。
首先,对搜索范围以及变量的定义进行初始化。
1) 设定节点度遍历范围:起始度 d s t a r t = 1(保证拓扑连通的最小节点度阈值,与节点数目相关),最大度为 K - 1。
2) 初始化记录变量:创建拓扑与目标函数值对照表,用于存储各阶段符合条件的拓扑及其目标函数值;设定全局最优目标函数值 f b e s t = - ∞,对应最优拓扑 G b e s t = ∅。
从 d = d s t a r t开始,逐次以当前目标节点度为基准,执行以下操作。
步骤1 初始拓扑筛选(满足准则 1、2)
筛选所有节点度为 d、图连通的拓扑结构,形成初始拓扑集合,该集合内的拓扑在当前节点度的限制下,天然满足准则1与准则2。
步骤2 计算集合内拓扑的目标函数值,并存储到拓扑与目标函数关系对应表中,记录该集合内最大目标函数值 f d , m a x对应的拓扑 G d , m a x。
步骤3 判断 G d , m a x是否满足准则3:若满足准则3,则更新 G b e s t = G d , m a x, f b e s t = f d , m a x;若不满足准则3,则随机选择1个节点,删除其1条通信边(确保删除后节点度为 d - 1,仍满足准则1),得到修正后的拓扑 G d , m o d , 1,重新校验准则3的符合性,若仍不满足,则继续随机选择1个未调整过的节点,删除其1条通信边,得到 G d , m o d , 2;以此类推,直至拓扑满足准则 3 或无法维持连通性或所有节点度降至 d - 2。对于满足准则3的修正拓扑 G d , m o d,计算其目标函数值 f d , m o d,与 f b e s t进行比较,若 f d , m o d > f b e s t,则更新 f b e s t = f d , m o d, G b e s t = G d , m o d。
步骤4 遍历终止判断
若当前节点度 d = K - 1,则停止遍历;否则令 d = d + 1,返回步骤1,进行下一节点度的搜索流程。

3.1.2 时帧长度优化

根据3.1.1节中的分析,得到了最佳拓扑 G b e s t。在此基础上,原优化目标式(2)中的 N 1 , N 2 , … , N k可视为常量,那么优化目标的变量只有时帧长度 t,则原优化目标可改写为
m a x   τ G - τ m a x + β λ 2 s . t .     t m i n ≤ t ≤ t m a x
T i , m a x的表达式为
T i , m a x = l i m n → ∞ 1 - p i n 1 - p i K D D t t
式中: p i取决于拓扑结构。则优化目标可简化为
m i n m a x i ∈ K   K D D t t
进一步简化为
m i n K D D t t
式中: D t = C H t,代入式(19),则优化目标改写为
m i n K D C H t t
将 C代入式(20),得
m i n K D B l o g 2 ( 1 + S / N ) t t
因此,只需要优化式(21)即可。式(21)是一个分段阶跃函数,类似于
f ( x ) = C x x
该函数有以下性质:① 每一段是线性函数,在 C k处发生跳跃;② 在每段的起始点 C k处取得局部最优。只需要枚举这些起始点然后进行比较,就可以得到全局最优。
实际上,上述基于谱图理论的优化方案存在一定的理论局限性。该方法仅依据谱图理论准则进行优化,计算复杂度较低,但无法保证获得全局最优解。因此,有必要将其与其他方法进行对比。在拓扑相关优化中,强化学习表现出较为优异的性能。引入DQN算法求解上述优化问题。DQN属于数据驱动的试错探索方法,不依赖先验理论准则,而是将优化问题建模为马尔可夫决策过程:以当前拓扑结构及时序持续时间为状态,以删边、加边或调整时帧长度为动作,以全局目标函数值为奖励,通过大量交互与试错学习最优策略。最终,将DQN得到的优化结果与基于谱图理论的方案进行对比,以验证谱图理论优化方法的有效性。

3.2 基于DQN的优化方案

分别对 DQN 方法中的状态、动作与奖励进行详细定义,并介绍其完整的训练过程。

3.2.1 状 态

状态是当前环境的一个完整描述,包括两部分:一部分是图结构 G,表示当前网络拓扑(节点、边的连接情况),作为一个图输入。另一部分是时序持续时间,这两部分都会对目标函数造成影响。因此,状态定义为
s = [ G , t ]
在实际处理中,为了避免DQN陷入高纬度的复杂场景中,将状态序列化从而降为一维。

3.2.2 动 作

动作定义为智能体对当前图和时隙持续时间的修改操作,共设有4种动作。
1) 删除度最大节点中,与它相连的度最大的邻居的边,其步骤如下。
步骤1 找出图中度数最大的节点 i。
步骤2 找到其邻居集合 N i。
步骤3 对这些邻居按其度数从高到低排序: v n , v n - 1 , ⋯。
步骤4 依次尝试删除边 ( u , v i ),若删除后图仍连通,则操作成功。
步骤5 若所有尝试都失败(即无论删除哪条边都不会保持图的连通性),则保持图不变。
2) 在度最小节点和其他低度节点之间添加边,步骤如下。
步骤1 按节点度数从小到大排序,得到节点序列: v 1 , v 2 , ⋯ , v n。
步骤2 依次遍历 v 2 , v 3 , ⋯ , v n,如果边 ( v 1 , v i )不存在,则添加这条边,动作完成;否则继续尝试下一节点。
步骤3 如果遍历完所有节点都无法添加新边即度最小节点已与所有其他节点连接,则图不变。
3) 减少当前时隙的持续时间,与0.9~1.0之间的一个随机数相乘。
4) 增加当前时隙的持续时间,与1.0~1.1之间的一个随机数相乘。

3.2.3 奖 励

奖励函数基于目标函数,奖励也是期望达到最大值的优化目标,即
r = τ G - τ m a x + β λ 2
如图4所示,是DQN算法训练过程。在训练阶段,首先随机初始化Q网络的参数 θ,并将其复制到目标Q网络中作为初始参数 θ '。随后,定义一个容量足够大的经验回放池,用于存储智能体与环境交互过程中产生的状态转移样本 ( s t , a t , r t , s t + 1 )。在每一步交互中,智能体以 ε - g r e e d y策略选择动作:以概率 ε选择随机动作以增强探索,以概率 1 - ε选择当前Q网络预测值最大的动作。执行该动作后,智能体从环境中获得即时奖励以及下一个状态,并将该转移样本存储到经验回放池中[22]。
图 4 DQN训练过程

Fig.4 DQN training process

随后,从经验回放池中随机采样一小批样本用于训练。对于每条样本,计算目标Q值:
y t = r t          如果 s t + 1 为终 止状 态 r t + γ m a x a ' Q ( s t + 1 , a ' ; θ ' )          否则
式中: γ ∈ 0,1为折扣因子,表示未来奖励的重要性; θ '表示目标Q网络的参数。然后,定义损失函数为采样批次中Q网络预测值与目标Q之间的均方误差
L ( θ ) = E ( s t , a t , r t , s t + 1 ) ~ 𝒟 [ ( y t - Q ( s t , a t ; θ ) ) 2 ]
来更新当前Q网络参数 θ。
为了保证训练的稳定性,目标Q网络的参数不会在每一步都更新,而是每隔固定的步数将其参数与当前Q网络同步,即 θ → τ θ + ( 1 - τ ) θ '。通过不断重复上述过程,Q网络逐渐逼近最优动作价值函数,从而提升智能体在环境中的决策能力。

4 仿真结果

针对上述系统模型与优化算法开展数值仿真分析,相关仿真参数如表1所示,其取值参考了典型的空中通信场景。在Python 3.11 环境下,对基于DQN的优化方案、基于谱图理论的优化方案、最小生成树方案以及无空中计算的方案进行了多维度性能对比分析。与基于DQN的方案进行对比,旨在验证所提谱图理论优化方法在空中计算场景下相对于数据驱动方法的性能优势与计算效率;与无空中计算方案的对比,则用于评估空中计算在降低集群通信时延方面的有效性,并进一步验证所提方法能否缓解因参数不一致引起的重传开销,从而提升整体信息协同效率。此外,最小生成树算法作为一种在保证网络连通性的前提下最小化边权之和且不形成环路的经典图论方法,被广泛用于通信网络拓扑构建。通过与最小生成树方案的对比,可进一步体现基于谱图理论的拓扑优化方案在信息协同效率上的优势。
表1 仿真参数

Table 1 Simulation parameters

参数 数值
总带宽 B / W 10 6
信道数 H 10
信号功率 P / W 1
噪声 功率 σ 2 / W 10 - 9
优化权重 β 50
时隙最小值 t m i n / s 10 - 4
时隙 最大 值 t m a x / s 0.02
奖励折扣 γ 0.99
学习率 τ 10 - 4
图5展示了DQN方案训练过程中损失函数的变化情况。可以看到,训练初期损失函数值较大,随着训练步数增加,损失函数逐渐下降并伴随一定波动。在约2 500步时出现较大波动,这是由于引入探索策略以避免DQN陷入局部最优解所致。随后,在2 500~5 000步期间,损失函数继续下降,并逐渐趋近于零,表明模型训练逐步收敛。
图 5 DQN损失函数曲线

Fig.5 Curve of DQN loss function

图6(a)展示了在32 KB数据量下,基于谱图理论方案、DQN方案、最小生成树方案以及无空中计算方案的信息协同效率随节点数量变化的对比情况。结果表明,谱图理论方案始终优于DQN、最小生成树以及无空中计算方案,且随着节点数增加,其与无空中计算方案、最小生成树方案以及DQN方案的差距进一步扩大,较DQN方案最大能提升37%左右,表明面向空中计算的谱图方案可能在多节点场景下的优势更加显著。相比之下,DQN方案虽然优于无空中计算方案,但由于在复杂拓扑下的优化能力有限,其性能仍低于谱图方案。
图 6 信息协同效率随节点数变化曲线

Fig.6 Curves of information collaboration efficiency with number of nodes

图6(b)展示了在64 KB数据量下,基于谱图理论方案、DQN方案、最小生成树方案以及无空中计算方案的信息协同效率随节点数量变化的对比情况。结果显示,谱图方案仍然优于其他3种方案,且相较于图6(a),其相对于无空中计算方案的优势进一步增强。同时,DQN方案在此数据量下全面优于无空中计算方案,最小生成树方案在节点数较多时也优于无空中计算方案,表明随着数据量增加,空中计算在提升信息协同效率方面的优势更加明显。
图6(c)展示了在128 KB数据量下,基于谱图理论方案、DQN方案、最小生成树方案以及无空中计算方案的信息协同效率随节点数量变化的对比情况。结果表明,谱图方案依旧优于其他3种方案,相较于图6(a)和图6(b),其相对于无空中计算方案的优势更加显著,并且此时最小生成树方案也全面优于无空中计算方案,进一步验证了空中计算在节点数量与数据量增加时在信息协同效率方面的优势。
图6(d)展示了在256 KB数据量下,基于谱图理论方案、DQN方案、最小生成树方案以及无空中计算方案的信息协同效率随节点数量变化的对比情况。结果显示,谱图方案仍然优于其他3种方案,而DQN方案在此数据量下逼近谱图方案,表明在大数据量场景中,DQN的优化性能有所提升,但谱图方案结合空中计算仍保持最优,显示其在大规模无人机集群任务中的稳健性与优势。
图7展示了在不同节点数量下,基于谱图理论的方案与无空中计算方案的传输时延变化情况。值得注意的是,谱图理论方案引入了空中计算技术。可以看出,即使考虑信息同步带来的影响,谱图方案在各方面仍显著优于无空中计算方案。这主要得益于空中计算能够节省大量信道资源,从而降低节点间的传输时延。此外,随着节点数量增加,数据量随之增大,谱图方案相较于传统方案的优势愈加明显,进一步验证了空中计算在降低集群间通信时延方面的有效性。
图 7 传输时延随节点数变化柱形图

Fig.7 Bar chart of transmission delay with number of nodes

图8展示了基于谱图理论的方案与DQN方案在 τ G指标上的对比结果。该指标在一定程度上反映了集群能否实现状态信息一致性收敛。结果表明,DQN方案在状态信息一致性收敛指标上普遍优于谱图方案,但在目标函数表现上,谱图方案仍全面优于DQN方法。这表明DQN方法可能更侧重于优化状态信息一致性收敛指标,而对于状态信息一致性收敛速率缺少关注,单一指标最优并不等于综合性能最优,从而导致在信息协同效率上表现不如谱图方案。
图 8 τ G随节点数变化曲线

Fig.8 Curves of τ G with number of nodes

图9展示了基于谱图理论的方案与DQN方法在 β λ 2指标上的对比结果,该指标反映了集群信息收敛速率。结果显示,谱图方案在信息收敛速率上全面优于DQN方案。结合图8可知,虽然DQN方法在状态信息一致性收敛指标上优于谱图方案,但在目标函数上仍不如谱图方案。这证明了DQN方法在拓扑优化中更侧重于优化状态信息一致性收敛,而忽略了对状态信息一致性收敛速率的优化,说明其存在一定局限性,难以找到整体最优解。而基于谱图理论的方案平衡地对这2个指标进行优化,从而得到更优的目标函数值。
图 9 β λ 2随节点数变化曲线

Fig.9 Curves of β λ 2 with number of nodes

图10展示了基于谱图理论的方案、DQN方案以及无空中计算方案在不同数据量下能够满足优化条件的最大节点数,即优化目标有解的情况。结果显示,DQN方案在最大节点数上优于谱图方案,这表明DQN方案在节点数量较多的集群中具有更好的适配性,尽管其优化目标值并非最优。相比之下,基于谱图理论的优化方案显著优于无空中计算方案,并能够获得最优目标值,但在数据量较大时,其适应的最大集群节点数受限,难以支持大规模节点的集群任务。
图 10 集群最大节点数随数据量变化曲线

Fig.10 Curves of the maximum number of cluster nodes with data volume

图11展示了在节点数为3、数据量为32 KB 以及节点数为8、数据量为256 KB的无人机集群场景下,基于谱图理论方案与DQN方案完成集群优化任务所需的总执行时间。图11中结果采用箱线图形式给出,数据基于50次独立实验统计得到。可以观察到,随着节点数和数据量的增大,2种优化方案的执行时间都在增加。此外,谱图理论方案的执行时间均显著低于DQN方案,其时间开销相较DQN方法降低约3个数量级。这表明,所提谱图理论方案不仅在优化目标函数值方面优于DQN方法,同时在算法执行效率和时效性上也具有明显优势。相比之下,DQN方案虽然在可支持的最大集群节点规模上表现更优,但其较高的计算复杂度限制了其在时间敏感型无人机集群任务中的实际应用。
图 11 DQN方案与谱图方案执行时间对比

Fig.11 Comparison of execution time between DQN scheme and spectral graph theory-based scheme

5 结 论

提出一种面向低时延高一致性信息协同的无人机集群拓扑优化策略,并构建双层联合优化框架。研究揭示了通信拓扑结构、时间同步精度与状态信息一致性收敛之间的内在关联机制,建立了三者的量化模型;上层基于谱图理论准则优化网络拓扑结构,通过调控节点度分布与环路特性,同步提升同步性能与收敛速率;下层自适应调整MAC层时帧长度,最小化端到端通信时延。所提出的拓扑设计准则突破了传统点对点通信范式局限,在低空集群场景下实现了状态信息一致性收敛条件与收敛速率的平衡优化。
[1]
SHAHZAD M M, ASAD M H, HARIS M, et al. Formation control and sub-swarm generation of multirotor UAVs[C]∥2023 International Conference on Robotics and Automation in Industry (ICRAI). Piscataway: IEEE Press, 2023: 1-7.

[2]
MA J Q, ZHENG Q, HE H S, et al. A hybrid particle swarm optimization algorithm for multi-objective UAV swarm topology shaping[C]∥2024 10th International Conference on Computer and Communications (ICCC). Piscataway: IEEE Press, 2024: 1710-1716.

[3]
BI J Z, HUANG W, LI B, et al. Research on the application of hybrid particle swarm algorithm in multi-UAV mission planning with capacity constraints[C]∥2024 IEEE International Conference on Unmanned Systems (ICUS). Piscataway: IEEE Press, 2024: 928-933.

[4]
VOLOVODA T. Swarm intelligence for UAV[C]∥2024 IEEE 7th International Conference on Actual Problems of Unmanned Aerial Vehicles Development (APUAVD). Piscataway: IEEE Press, 2024: 313-316.

[5]
ZHOU R, YANG Y X, SONG D Y, et al. Network topology construction method for UAV swarm systems based on topology duration maximization[C]∥2023 6th International Conference on Electronics Technology (ICET). Piscataway: IEEE Press, 2023: 551-555.

[6]
ZHOU Y K, RAO B, WANG W. UAV swarm intelligence: Recent advances and future trends[J]. IEEE Access, 2020, 8: 183856-183878.

[7]
JAVED S, HASSAN A, AHMAD R, et al. State-of-the-art and future research challenges in UAV swarms[J]. IEEE Internet of Things Journal, 2024, 11(11): 19023-19045.

[8]
JAVAID S, SAEED N, QADIR Z, et al. Communication and control in collaborative UAVs: Recent advances and future trends[J]. IEEE Transactions on Intelligent Transportation Systems, 2023, 24(6): 5719-5739.

[9]
KHAN M A, KUMAR N, MOHSAN S A H, et al. Swarm of UAVs for network management in 6G: A technical review[J]. IEEE Transactions on Network and Service Management, 2023, 20(1): 741-761.

[10]
贾永楠, 田似营, 李擎. 无人机集群研究进展综述[J]. 航空学报, 2020, 41(S1): 723738.

JIA Y N, TIAN S Y, LI Q. Development of unmanned aerial vehicle swarms[J]. Acta Aeronautica et Astronautica Sinica, 2020, 41(S1): 723738 (in Chinese).

[11]
刘雷, 刘大卫, 王晓光, 等. 无人机集群与反无人机集群发展现状及展望[J]. 航空学报, 2022, 43(S1): 726908.

LIU L, LIU D W, WANG X G, et al. Development status and outlook of UAV clusters and anti-UAV clusters[J]. Acta Aeronautica et Astronautica Sinica,2022, 43(S1): 726908 (in Chinese).

[12]
CHEN D, LEI M, ZHAO M M, et al. Deep learning based coded over-the-air computation for personalized federated learning[C]∥2023 IEEE 98th Vehicular Technology Conference (VTC2023-Fall). Piscataway: IEEE Press, 2023: 1-5.

[13]
TANG S, OBANA S. Antenna selection for multiantenna over-the-air computation[J]. IEEE Wireless Communications Letters, 2024, 13(12): 3498-3502.

[14]
DAHL M, CHEN Z, LARSSON E G. Over-the-air computation with reciprocity calibration: Detection and realignment of misaligned devices[C]∥2024 58th Asilomar Conference on Signals, Systems, and Computers. Piscataway: IEEE Press, 2024: 1832-1836.

[15]
IQBAL U, JUNG H, SHIN H. A survey on device scheduling in over-the-air computation-enabled federated learning[C]∥2024 15th International Conference on Information and Communication Technology Convergence (ICTC). Piscataway: IEEE Press, 2024: 534-536.

[16]
ŞAHIN A, YANG R. A survey on over-the-air computation[J]. IEEE Communications Surveys & Tutorials, 2023, 25(3): 1877-1908.

[17]
MA L, LIN B, ZHANG W, et al. A survey of research on the distributed cooperation method of the UAV swarm based on swarm intelligence[C]∥2022 IEEE 13th International Conference on Software Engineering and Service Science (ICSESS). Piscataway: IEEE Press, 2022: 305-309.

[18]
HSIEH D Y, KUO J J, CHEN W T, et al. AirComp-aided safety-aware CAM broadcast rate control in C-V2X sidelink[C]∥2023 IEEE 97th Vehicular Technology Conference (VTC2023-Spring). Piscataway: IEEE Press, 2023: 1-7.

[19]
LIU W, ZANG X, LI Y H, et al. Over-the-air computation systems: Optimization, analysis and scaling laws[J]. IEEE Transactions on Wireless Communications, 2020, 19(8): 5488-5502.

[20]
NICA B G. A brief introduction to spectral graph theory[DB/OL]. arXiv preprint: 1609.08072, 2016.

[21]
XIONG K, WANG R, LENG S P, et al. RIS-empowered topology control for decentralized federated learning in urban air mobility[J]. IEEE Internet of Things Journal, 2024, 11(24): 40757-40770.

[22]
ARULKUMARAN K, DEISENROTH M P, BRUNDAGE M, et al. Deep reinforcement learning: A brief survey[J]. IEEE Signal Processing Magazine, 2017, 34(6): 26-38.

Outlines

/

〈 〉