面向城市空中交通的无人机视觉定位技术

屈若锟; 王致远; 刘晔璐; 李诚龙; 江波

doi:10.7527/S1000-6893.2024.31168

航空学报 >

2025 , Vol. 46 >Issue 11: 531168 - 531168

DOI: https://doi.org/10.7527/S1000-6893.2024.31168

论文

面向城市空中交通的无人机视觉定位技术

屈若锟 ,
王致远 ,
刘晔璐 ,
李诚龙 ,
江波

展开

^1.中国民用航空飞行学院空中交通管理学院，广汉 618307
^2.中国民用航空飞行学院工程训练中心，广汉 618307
^3.中国民用航空飞行学院民航飞行技术与飞行安全重点实验室，广汉 618307
^4.中国民用航空飞行学院飞行技术学院，广汉 618307

．E-mail： wangzhiyuan@cafuc.edu.cn

收稿日期: 2024-09-09

修回日期: 2024-10-12

录用日期: 2024-11-11

网络出版日期: 2024-11-14

基金资助

国家自然科学基金重点项目(U2333214);工业控制技术全国重点实验室开放课题(ICT2024B45);民航局安全能力建设项目(MHAQ2024033);民航飞行技术与飞行安全重点实验室开放项目(FZ2021KF13)

收起

UAV visual positioning technology for urban air mobility

Ruokun QU ,
Zhiyuan WANG ,
Yelu LIU ,
Chenglong LI ,
Bo JIANG

Expand

^1.Air Traffic Management College，Civil Aviation Flight University of China，Guanghan 　618307，China
^2.Engineering Training Center，Civil Aviation Flight University of China，Guanghan 　618307，China
^3.Civil Aviation Flight Technology and Flight Safety Key Laboratory，Civil Aviation Flight University of China，Guanghan 　618307，China
^4.Flight Technical College，Civil Aviation Flight University of China，Guanghan 　618307，China

E-mail： wangzhiyuan@cafuc.edu.cn

Received date: 2024-09-09

Revised date: 2024-10-12

Accepted date: 2024-11-11

Online published: 2024-11-14

Supported by

Key Project of National Natural Science Foundation of China(U2333214);Open Project of National Key Laboratory of Industrial Control Technology(ICT2024B45);Civil Aviation Administration Safety Capacity Building Project(MHAQ2024033);Civil Aviation Flight Technology and Flight Safety Key Laboratory Open Project(FZ2021KF13)

Fold

摘要

针对无人机在城市空中交通（UAM）环境中面临的卫星定位不稳定和信号干扰问题，以及现有额外定位系统对机载算力需求较大的挑战，提出了一种轻量化的无人机视觉定位系统。通过开发融合状态空间模块的图像特征提取框架，显著提高了预测精度，实现了基于高斯金字塔的三元组自监督训练方法，增强了算法的鲁棒性。通过引入基于滑动窗口和相似度矩阵的特征匹配策略，优化了特征匹配过程并显著提高了推理速度。通过在Airsim仿真平台及真实UAM飞行场景中的实验验证，证明了该算法在复杂环境中能够提供精准的额外定位数据。在多组消融实验和性能测试中，验证了算法的先进性与实时性，有效降低了算力需求。结果表明，该系统在提高无人机定位精度的同时，可以为城市空中交通环境下的无人机定位提供可行的视觉解决方案。

关键词： 低空经济; 无人机; 视觉定位; 状态空间模块; 自监督训练; Airsim; 特征匹配

本文引用格式

屈若锟 , 王致远 , 刘晔璐 , 李诚龙 , 江波 . 面向城市空中交通的无人机视觉定位技术[J]. 航空学报, 2025 , 46(11) : 531168 -531168 . DOI: 10.7527/S1000-6893.2024.31168

Abstract

Drones in the Urban Air Mobility （UAM） environment are faced with the problems of unstable satellite navigation and positioning and signal interference， and existing additional navigation systems are faced with the challenges of requirement for high airborne computing power. This study proposes a lightweight UAV visual navigation and positioning system. By developing an image feature extraction framework that fuses state space modules， the prediction accuracy is significantly improved， and a triplet self-supervised training method based on Gaussian pyramid is implemented to enhance the robustness of the algorithm. By introducing a feature matching strategy based on sliding windows and similarity matrices， the feature matching process is optimized and the inference speed is significantly improved. Experiments on the Airsim simulation platform and real UAM flight scenarios show that this algorithm can provide accurate additional navigation and positioning data in complex environments. Multiple sets of ablation experiments and performance tests are conducted to verify the advanced nature and real-timeliness of the algorithm， as well as its capability to effectively reduce the computing power requirements. The results show that this system can not only improve the accuracy of UAV navigation， but also provide a feasible visual solution for positioning and navigation in urban air traffic environments.

Key words： low-altitude economy; UAV; visual positioning; state space module; self-supervised training; Airsim; feature matching

参考文献

[1]	廖小罕，屈文秋，徐晨晨，等. 城市空中交通及其新型基础设施低空公共航路研究综述［J］. 航空学报， 2023， 44（24）： 028521.
	LIAO X H， QU W Q， XU C C， et al. A review of urban air mobility and its new infrastructure low-altitude public routes?［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（24）： 028521 （in Chinese）.
[2]	LIU Z X， CAI K Q， ZHU Y B. Civil unmanned aircraft system operation in national airspace： A survey from Air Navigation Service Provider perspective?［J］. Chinese Journal of Aeronautics， 2021， 34（3）： 200-224.
[3]	STOUFFER V L， COTTON W B， DEANGELIS R A， et al. Reliable， secure， and scalable communications， navigation， and surveillance （CNS） options for urban air mobility （UAM）［R］. Washington， D. C.： NASA， 2020.
[4]	余莎莎，陈星雨. 城市空中交通领域关键技术创新与挑战［J］. 航空学报， 2024， 45（S1）： 730657.
	YU S S， CHEN X Y. Key technological innovations and challenges in urban air mobility［J］. Acta Aeronautica et Astronautica Sinica， 2024， 45（S1）： 730657 （in Chinese）
[5]	ENGEL J， KOLTUN V， CREMERS D. Direct sparse odometry?［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（3）： 611-625.
[6]	侯永宏，刘艳，吕华龙，等. 一种基于双目视觉的无人机自主导航系统［J］. 天津大学学报（自然科学与工程技术版）， 2019， 52（12）： 1262-1269.
	HOU Y H， LIU Y， Lü H L， et al. An autonomous navigation systems of UAVs based on binocular vision?［J］. Journal of Tianjin University （Science and Technology）， 2019， 52（12）： 1262-1269 （in Chinese）.
[7]	SHAN T X， ENGLOT B. LeGO-LOAM： Lightweight and ground-optimized lidar odometry and mapping on variable terrain［C］∥2018 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Piscataway： IEEE Press， 2018： 4758-4765.
[8]	LIN J R， ZHANG F. Loam livox： A fast， robust， high-precision LiDAR odometry and mapping package for LiDARs of small FoV［C］∥2020 IEEE International Conference on Robotics and Automation （ICRA）. Piscataway： IEEE Press， 2020： 3126-3131.
[9]	NASSAR A， AMER K， ELHAKIM R， et al. A deep CNN-based framework for enhanced aerial imagery registration with applications to UAV geolocalization［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway： IEEE Press， 2018： 1626-1636.
[10]	SHAN T X， ENGLOT B， MEYERS D， et al. LIO-SAM： Tightly-coupled lidar inertial odometry via smoothing and mapping［C］∥2020 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Piscataway： IEEE Press， 2020： 5135-5142.
[11]	XU W， CAI Y X， HE D J， et al. FAST-LIO2： Fast direct LiDAR-inertial odometry［J］. IEEE Transactions on Robotics， 2022， 38（4）： 2053-2073.
[12]	LIN J R， ZHANG F. R3LIVE： A Robust， Real-time， RGB-colored， LiDAR-Inertial-Visual tightly-coupled state Estimation and mapping package［C］∥2022 International Conference on Robotics and Automation （ICRA）. Piscataway： IEEE Press， 2022： 10672-10678.
[13]	CAMPOS C， ELVIRA R， RODRíGUEZ J J G， et al. ORB-SLAM3： An accurate open-source library for visual， visual-inertial， and multimap SLAM［J］. IEEE Transactions on Robotics， 2021， 37（6）： 1874-1890.
[14]	QIN T， CAO S Z， PAN J， et al. A general optimization-based framework for global pose estimation with multiple sensors［DB/OL］. arXiv preprint： 1901.03642， 2019.
[15]	TEED Z， DENG J. DROID-SLAM： Deep visual SLAM for monocular， stereo， and RGB-D cameras［DB/OL］. arXiv preprint： 2108.10869， 2021.
[16]	KEETHA N， KARHADE J， JATAVALLABHULA K M， et al. SplaTAM： Splat， track & map 3D Gaussians for dense RGB-D SLAM［C］∥2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2024： 21357-21366.
[17]	BIANCHI M， BARFOOT T D. UAV localization using autoencoded satellite images［J］. IEEE Robotics and Automation Letters， 2021， 6（2）： 1761-1768.
[18]	冯宇. 广域环境视觉辅助无人机自主导航方法研究［D］. 北京：中国科学院大学（中国科学院国家空间科学中心）， 2022.
	FENG Y. Research on vision assisted autonomous navigation of UAV in wide area environment［D］. Beijing： Chinese Academy of Sciences（National Space Science Center）， 2022 （in Chinese）.
[19]	魏利波. 无人机视觉导航图像配准技术研究［D］. 沈阳：沈阳大学， 2022.
	WEI L B. Research on image registration technology of UAV visual navigation［D］. Shenyang： Shenyang University， 2022 （in Chinese）.
[20]	RADOSAVOVIC I， KOSARAJU R P， GIRSHICK R， et al. Designing network design spaces［C］∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 10428-10436.
[21]	MA N N， ZHANG X Y， ZHENG H T， et al. ShuffleNet V2： Practical guidelines for efficient CNN architecture design［C］∥Computer Vision-ECCV 2018. Cham： Springer International Publishing. 2018： 122-138.
[22]	DING X H， ZHANG X Y， MA N N， et al. RepVGG： Making VGG-style ConvNets great again［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 13733-13742.
[23]	熊乾凯. 基于机器视觉的无人机导航定位技术研究［D］. 广汉：中国民用航空飞行学院， 2024.
	XIONG Q K. Research on UAV navigation and localization technology based on machine vision ［D］. Guanghan： Civil Aviation Flight University of China， 2024 （in Chinese）.
[24]	GU A， DAO T. Mamba： Linear-time sequence modeling with selective state spaces［DB/OL］. arXiv preprint： 2312.00752， 2023.
[25]	SENGUPTA A， YE Y T， WANG R， et al. Going deeper in spiking neural networks： VGG and residual architectures［J］. Frontiers in Neuroscience， 2019， 13： 95.
[26]	石祥滨，张劲松，陈润锋，等. 一种适合于大尺寸航拍图像的特征点提取方法［J］. 航空学报， 2014， 35（1）： 240-248.
	SHI X B， ZHANG J S， CHEN R F， et al. A feature point extraction method for large size aerial images［J］. Acta Aeronautica et Astronautica Sinica， 2014， 35（1）： 240-248 （in Chinese）.
[27]	王秋富，石治国，张倬，等. 舰载机着舰引导中鲁棒单目视觉相对位姿测量［J］. 航空学报， 2024， 45（23）： 30309.
	WANG Q F， SHI Z G， ZHANG Z， et al. Robust monocular relative pose measurement for carrier-based aircraft landing guidance［J］. Acta Aeronautica et Astronautica Sinica， 2024， 45（23）： 30309 （in Chinese）.
[28]	赵良玉，金瑞，朱叶青，等. 基于点线特征融合的双目惯性SLAM算法［J］. 航空学报， 2022， 43（3）： 25117.
	ZHAO L Y， JIN R， ZHU Y Q， et al. Stereo visual-inertial SLAM algorithm based on merge of point and line features［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（3）： 25117 （in Chinese）.
[29]	万宏发，李姗姗，蓝朝桢，等. 基于因子图的无人机视觉定位方法［J］. 航空学报， 2023， 44（S1）： 727627.
	WAN H F， LI S S， LAN C Z， et al. UAV visual positioning method based on factor graph［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（S1）： 727627 （in Chinese）.

Options

文章导航

模态框（Modal）标题

摘要

本文引用格式

Abstract

参考文献