面向物联网数据收集的无人机自主路径规划

doi:10.7527/S1000-6893.2023.29054

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

面向物联网数据收集的无人机自主路径规划

张薇(), 何若俊

哈尔滨工程大学信息与通信工程学院，哈尔滨 150001

收稿日期:2023-05-29 修回日期:2023-07-12 接受日期:2023-11-06 出版日期:2024-04-25 发布日期:2023-11-16
通讯作者: 张薇 E-mail:zhangwei@hrbeu.edu.cn
基金资助:
电子信息系统复杂电磁环境效应国家重点实验室资助课题(CEMEE2021K0101A)

Autonomous trajectory design for IoT data collection by UAV

Wei ZHANG(), Ruojun HE

College of Information Communication Engineering，Harbin Engineering University，Harbin 150001，China

Received:2023-05-29 Revised:2023-07-12 Accepted:2023-11-06 Online:2024-04-25 Published:2023-11-16
Contact: Wei ZHANG E-mail:zhangwei@hrbeu.edu.cn
Supported by:
State Key Laboratory of Complex Electromagnetic Environment Effects on Electronics and Information System(CEMEE2021K0101A)

摘要/Abstract

摘要：

路径规划旨在为无人机（UAV）提供安全可靠的行进路径，而实际环境的动态性极大地增加了路径规划的难度。本文针对物联网（IoT）节点处的数据收集问题，构建了一个复杂的3D动态环境，在多评论家深度确定性梯度算法（MCDDPG）的基础上提出一种基于无人机电量约束、路径长度最小化（MCDDPG-EPM）算法。算法考虑无人机自身电量约束及其在物联网节点间的调度问题，确保无人机在电量供应安全的前提下以较短的路径长度完成数据采集工作。特别地，为了应对动态环境下突发障碍物移动问题，提出信息增强的概念，以降低移动障碍物带来的路径不确定性。仿真结果表明，当物联网节点数为20时，所提算法相较于双延迟深度确定性策略梯度算法（TD3）、传统A^*算法和蚁群算法（ACO）分别节省了11.8%、13.2%和15.1%的电量消耗。

关键词: 路径规划, 物联网, 无人机, 多评论家深度确定性梯度算法, 双延迟深度确定性策略梯度算法

Abstract:

Trajectory design is critical for navigation of Unmanned Aerial Vehicle （UAV） as it ensures the provision of safe and reliable travel paths. However， the dynamics of the actual environment significantly amplify the challenges associated with path planning. To address this issue， we design a complex 3D dynamic environment， in which a UAV is employed to collect data from multiple ground nodes of Internet of Things （IoT）. Drawing inspiration from the Multi-Critic Deep Deterministic Policy Gradient （MCDDPG）， we propose a Multi-Critic DDPG-Energy constrained Path-length-Minimization （MCDDPG-EPM） algorithm， which considers the UAV’s energy constraints and related node scheduling problems， ensuring that the data can be completely collected with short path length and sufficient power. In particular， an information enhancement method is introduced to handle the unpredictability of moving obstacles in dynamic environments. Simulation results demonstrate that compared with the Twin Delayed Deep Deterministic policy gradient algorithm （TD3）， traditional A* algorithm， and the traditional Ant Colony Optimization （ACO）， the proposed approach achieves energy savings of 11.8%， 13.2%， and 15.1%， respectively， when the number of the IoT nodes is 20.

Key words: trajectory design, internet of things, unmanned aerial vehicle, multi-critic deep deterministic gradient algorithm, twin delayed deep deterministic policy gradient algorithm

中图分类号:

V249.3

张薇, 何若俊. 面向物联网数据收集的无人机自主路径规划[J]. 航空学报, 2024, 45(8): 329054-329054-1.

Wei ZHANG, Ruojun HE. Autonomous trajectory design for IoT data collection by UAV[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(8): 329054-329054-1.

图/表 13

图 1

图 2

图 3

图 4

图 5

图 6

表 1

训练超参数

训练参数	数值
折扣因子 $γ$	0.99
软更新率 $τ ˜$	$0.005$
经验池大小 $R ̂$	$1 × 104$
批量样本数 $B$	128
网络学习率 $l r$	$0.001$
最大训练次数Max_num	$2 × 103$
最大电量 $E / k J$	$25$

表 1

图 7

图 8

图 9

图 10

图 11

图 12

参考文献 28

1	ZENG Y， ZHANG R， LIM T J. Wireless communications with unmanned aerial vehicles： Opportunities and challenges［J］. IEEE Communications Magazine， 2016， 54（5）： 36-42.
2	LI B， FEI Z S， ZHANG Y. UAV communications for 5G and beyond： Recent advances and future trends［J］. IEEE Internet of Things Journal， 2019， 6（2）： 2241-2263.
3	WU Q Q， XU J， ZENG Y， et al. A comprehensive overview on 5G-and-beyond networks with UAVs： From communications to sensing and intelligence［J］. IEEE Journal on Selected Areas in Communications， 2021， 39（10）： 2912-2945.
4	ZANELLA A， BUI N， CASTELLANI A， et al. Internet of things for smart cities［J］. IEEE Internet of Things Journal， 2014， 1（1）： 22-32.
5	LI J X， ZHAO H T， WANG H J， et al. Joint optimization on trajectory， altitude， velocity， and link scheduling for minimum mission time in UAV-aided data collection［J］. IEEE Internet of Things Journal， 2020， 7（2）： 1464-1475.
6	LI X， TAN J W， LIU A F， et al. A novel UAV-enabled data collection scheme for intelligent transportation system through UAV speed control［J］. IEEE Transactions on Intelligent Transportation Systems， 2021， 22（4）： 2100-2110.
7	胡敬，田俊曦，邹世明，等. 基于自适应卡尔曼滤波的联合RSS/TOA/INS无人机定位算法［J］. 无人系统技术， 2022， 5（2）： 62-70.
	HU J， TIAN J X， ZOU S M， et al. A hybrid RSS/TOA/INS UAV localization algorithm based on adaptive Kalman filter［J］. Unmanned Systems Technology， 2022， 5（2）： 62-70 （in Chinese）.
8	SUNG Y， TOKEKAR P. GM-PHD filter for searching and tracking an unknown number of targets with a mobile sensor with limited FOV［J］. IEEE Transactions on Automation Science and Engineering， 2022， 19（3）： 2122-2134.
9	YANG X， DING M Y， ZHOU C P. Fast marine route planning for UAV using improved sparse A* algorithm［C］∥2010 Fourth International Conference on Genetic and Evolutionary Computing. Piscataway： IEEE Press， 2010： 190-193.
10	KALA R， WARWICK K. Planning of multiple autonomous vehicles using RRT［C］∥2011 IEEE 10th International Conference on Cybernetic Intelligent Systems （CIS）. Piscataway： IEEE Press， 2011： 20-25.
11	DORIGO M， MANIEZZO V， COLORNI A. Ant system： Optimization by a colony of cooperating agents［J］. IEEE Transactions on Systems， Man， and Cybernetics Part B， Cybernetics： A Publication of the IEEE Systems， Man， and Cybernetics Society， 1996， 26（1）： 29-41.
12	周彬，郭艳，李宁，等. 基于导向强化Q学习的无人机路径规划［J］. 航空学报， 2021， 42（9）： 325109.
	ZHOU B， GUO Y， LI N， et al. Path planning of UAV using guided enhancement Q-learning algorithm［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（9）： 325109 （in Chinese）.
13	MOON J， PAPAIOANNOU S， LAOUDIAS C， et al. Deep reinforcement learning multi-UAV trajectory control for target tracking［J］. IEEE Internet of Things Journal， 2021， 8（20）： 15441-15455.
14	WANG Y， GAO Z， ZHANG J， et al. Trajectory design for UAV-based Internet of Things data collection： A deep reinforcement learning approach［J］. IEEE Internet of Things Journal， 2022， 9（5）： 3899-3912.
15	SINGLA A， PADAKANDLA S， BHATNAGAR S. Memory-based deep reinforcement learning for obstacle avoidance in UAV with limited environment knowledge［J］. IEEE Transactions on Intelligent Transportation Systems， 2021， 22（1）： 107-118.
16	SHIRI H， SEO H， PARK J， et al. Attention-based communication and control for multi-UAV path planning［J］. IEEE Wireless Communications Letters， 2022， 11（7）： 1409-1413.
17	LI B H， HUANG Z L， CHEN T W， et al. MSN： Mapless short-range navigation based on time critical deep reinforcement learning［J］. IEEE Transactions on Intelligent Transportation Systems， 2023， 24（8）： 8628-8637.
18	XU S， ZHANG X Y， LI C G， et al. Deep reinforcement learning approach for joint trajectory design in multi-UAV IoT networks［J］. IEEE Transactions on Vehicular Technology， 2022， 71（3）： 3389-3394.
19	TANG X M， CHAI Y， LIU Q. A 2D UAV path planning method based on reinforcement learning in the presence of dense obstacles and kinematic constraints［C］∥2022 IEEE 11th Data Driven Control and Learning Systems Conference （DDCLS）. Piscataway： IEEE Press， 2022： 306-311.
20	KHAMIDEHI B， SOUSA E S. Reinforcement-learning-aided safe planning for aerial robots to collect data in dynamic environments［J］. IEEE Internet of Things Journal， 2022， 9（15）： 13901-13912.
21	AL-HOURANI A， KANDEEPAN S， LARDNER S. Optimal LAP altitude for maximum coverage［J］. IEEE Wireless Communications Letters， 2014， 3（6）： 569-572.
22	YAO J J， ANSARI N. QoS-aware power control in Internet of drones for data collection service［J］. IEEE Transactions on Vehicular Technology， 2019， 68（7）： 6649-6656.
23	ZHU B T， BEDEER E， NGUYEN H H， et al. UAV trajectory planning for AoI-minimal data collection in UAV-aided IoT networks by transformer［J］. IEEE Transactions on Wireless Communications， 2023， 22（2）： 1343-1358.
24	ZENG Y， XU J， ZHANG R. Energy minimization for wireless communication with rotary-wing UAV［J］. IEEE Transactions on Wireless Communications， 2019， 18（4）： 2329-2345.
25	TENG T H， TAN A H， ZURADA J M. Self-organizin-g neural networks integrating domain knowledge and reinforcement learning［J］. IEEE Transactions on Neur-al Networks and Learning Systems， 2015， 26（5）： 889-902.
26	LILLICRAP T P， HUNT J J， PRITZEL A， et al. Continuous control with deep reinforcement learning［DB/OL］. arXiv preprint： 1509.02971， 2015.
27	WU J， WANG R， LI R Y， et al. Multi-critic DDPG method and double experience replay［C］∥2018 IEEE International Conference on Systems， Man， and Cybernetics （SMC）. Piscataway： IEEE Press， 2018： 165-171.
28	PARDALOS P M. Convex optimization theory［J］. Optimization Methods & Software， 2010， 25（3）： 487.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

[1]	王海峰, 刘坤澎, 江泓鑫, 杜晨曦. 螺旋桨多设计点气动优化方法和变桨距角策略[J]. 航空学报, 2024, 45(9): 528831-528831.
[2]	赵春晖, 刘安萌, 吕洋, 潘泉. 无人机韧性自主定位技术综述[J]. 航空学报, 2024, 45(8): 28839-028839.
[3]	赵靖, 宋丹. 无人机GNSS/IMU组合导航系统完好性监测方法[J]. 航空学报, 2024, 45(7): 328943-328943.
[4]	王传云, 苏阳, 王琳霖, 王田, 王静静, 高骞. 面向反制无人机集群的多目标连续鲁棒跟踪算法[J]. 航空学报, 2024, 45(7): 329017-329017.
[5]	安朝, 霍贵玺, 孟杨, 谢长川, 杨超. 翼尖铰接组合式无人机气动建模方法及布局参数影响[J]. 航空学报, 2024, 45(6): 629587-629587.
[6]	尹洪玉, 吴宇, 梁天骄. 固定翼无人机巡逻覆盖协同路径规划方法[J]. 航空学报, 2024, 45(6): 328944-328944.
[7]	罗旭东, 吴一全, 陈金林. 无人机航拍影像目标检测与语义分割的深度学习方法研究进展[J]. 航空学报, 2024, 45(6): 28822-028822.
[8]	李广佳, 王红波, 张凯, 仪志胜. 临近空间太阳能无人机增升减阻技术综述[J]. 航空学报, 2024, 45(5): 529644-529644.
[9]	蔡云鹏, 周大鹏, 丁江川. 具有防撞安全约束的无人机集群智能协同控制[J]. 航空学报, 2024, 45(5): 529683-529683.
[10]	郑高杰, 何小明, 李东坡, 谭慧俊, 汪昆, 吴祯龙, 王德鹏. 尾部推进无人机双90°偏折进气道/蜗壳耦合流动特性[J]. 航空学报, 2024, 45(4): 128782-128782.
[11]	王祝, 张梦通, 张振鹏, 徐广通. 基于多指标动态优先级的无人机协同路径规划[J]. 航空学报, 2024, 45(4): 328816-328816.
[12]	张清瑞, 刘赟韵, 孙慧杰, 朱波. 固定翼无人机紧密编队的鲁棒协同跟踪控制[J]. 航空学报, 2024, 45(1): 629233-629233.
[13]	郭洪振, 陈谋, 戴永东, 王茂飞. 分布式自适应事件触发四旋翼无人机编队控制[J]. 航空学报, 2023, 44(S2): 729917-729917.
[14]	刘坤达, 刘雪明, 朱波, 张清瑞. 面向狭窄通道穿越的多机编队安全鲁棒控制[J]. 航空学报, 2023, 44(S2): 729768-729768.
[15]	郝文康, 包素艳, 陈琪锋. 基于端口哈密顿系统的无人机编队分布式控制[J]. 航空学报, 2023, 44(S2): 729868-729868.

面向物联网数据收集的无人机自主路径规划

Autonomous trajectory design for IoT data collection by UAV

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 28

相关文章 15

编辑推荐

Metrics

本文评价