ACTA AERONAUTICAET ASTRONAUTICA SINICA >
UAV visual positioning technology for urban air mobility
Received date: 2024-09-09
Revised date: 2024-10-12
Accepted date: 2024-11-11
Online published: 2024-11-14
Supported by
Key Project of National Natural Science Foundation of China(U2333214);Open Project of National Key Laboratory of Industrial Control Technology(ICT2024B45);Civil Aviation Administration Safety Capacity Building Project(MHAQ2024033);Civil Aviation Flight Technology and Flight Safety Key Laboratory Open Project(FZ2021KF13)
Drones in the Urban Air Mobility （UAM） environment are faced with the problems of unstable satellite navigation and positioning and signal interference， and existing additional navigation systems are faced with the challenges of requirement for high airborne computing power. This study proposes a lightweight UAV visual navigation and positioning system. By developing an image feature extraction framework that fuses state space modules， the prediction accuracy is significantly improved， and a triplet self-supervised training method based on Gaussian pyramid is implemented to enhance the robustness of the algorithm. By introducing a feature matching strategy based on sliding windows and similarity matrices， the feature matching process is optimized and the inference speed is significantly improved. Experiments on the Airsim simulation platform and real UAM flight scenarios show that this algorithm can provide accurate additional navigation and positioning data in complex environments. Multiple sets of ablation experiments and performance tests are conducted to verify the advanced nature and real-timeliness of the algorithm， as well as its capability to effectively reduce the computing power requirements. The results show that this system can not only improve the accuracy of UAV navigation， but also provide a feasible visual solution for positioning and navigation in urban air traffic environments.
Ruokun QU , Zhiyuan WANG , Yelu LIU , Chenglong LI , Bo JIANG . UAV visual positioning technology for urban air mobility[J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2025 , 46(11) : 531168 -531168 . DOI: 10.7527/S1000-6893.2024.31168
| [1] | 廖小罕， 屈文秋， 徐晨晨， 等. 城市空中交通及其新型基础设施低空公共航路研究综述［J］. 航空学报， 2023， 44（24）： 028521. |
| LIAO X H， QU W Q， XU C C， et al. A review of urban air mobility and its new infrastructure low-altitude public routes?［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（24）： 028521 （in Chinese）. | |
| [2] | LIU Z X， CAI K Q， ZHU Y B. Civil unmanned aircraft system operation in national airspace： A survey from Air Navigation Service Provider perspective?［J］. Chinese Journal of Aeronautics， 2021， 34（3）： 200-224. |
| [3] | STOUFFER V L， COTTON W B， DEANGELIS R A， et al. Reliable， secure， and scalable communications， navigation， and surveillance （CNS） options for urban air mobility （UAM）［R］. Washington， D. C.： NASA， 2020. |
| [4] | 余莎莎， 陈星雨. 城市空中交通领域关键技术创新与挑战［J］. 航空学报， 2024， 45（S1）： 730657. |
| YU S S， CHEN X Y. Key technological innovations and challenges in urban air mobility［J］. Acta Aeronautica et Astronautica Sinica， 2024， 45（S1）： 730657 （in Chinese） | |
| [5] | ENGEL J， KOLTUN V， CREMERS D. Direct sparse odometry?［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（3）： 611-625. |
| [6] | 侯永宏， 刘艳， 吕华龙， 等. 一种基于双目视觉的无人机自主导航系统［J］. 天津大学学报 （自然科学与工程技术版）， 2019， 52（12）： 1262-1269. |
| HOU Y H， LIU Y， Lü H L， et al. An autonomous navigation systems of UAVs based on binocular vision?［J］. Journal of Tianjin University （Science and Technology）， 2019， 52（12）： 1262-1269 （in Chinese）. | |
| [7] | SHAN T X， ENGLOT B. LeGO-LOAM： Lightweight and ground-optimized lidar odometry and mapping on variable terrain［C］∥2018 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Piscataway： IEEE Press， 2018： 4758-4765. |
| [8] | LIN J R， ZHANG F. Loam livox： A fast， robust， high-precision LiDAR odometry and mapping package for LiDARs of small FoV［C］∥2020 IEEE International Conference on Robotics and Automation （ICRA）. Piscataway： IEEE Press， 2020： 3126-3131. |
| [9] | NASSAR A， AMER K， ELHAKIM R， et al. A deep CNN-based framework for enhanced aerial imagery registration with applications to UAV geolocalization［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway： IEEE Press， 2018： 1626-1636. |
| [10] | SHAN T X， ENGLOT B， MEYERS D， et al. LIO-SAM： Tightly-coupled lidar inertial odometry via smoothing and mapping［C］∥2020 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Piscataway： IEEE Press， 2020： 5135-5142. |
| [11] | XU W， CAI Y X， HE D J， et al. FAST-LIO2： Fast direct LiDAR-inertial odometry［J］. IEEE Transactions on Robotics， 2022， 38（4）： 2053-2073. |
| [12] | LIN J R， ZHANG F. R3LIVE： A Robust， Real-time， RGB-colored， LiDAR-Inertial-Visual tightly-coupled state Estimation and mapping package［C］∥2022 International Conference on Robotics and Automation （ICRA）. Piscataway： IEEE Press， 2022： 10672-10678. |
| [13] | CAMPOS C， ELVIRA R， RODRíGUEZ J J G， et al. ORB-SLAM3： An accurate open-source library for visual， visual-inertial， and multimap SLAM［J］. IEEE Transactions on Robotics， 2021， 37（6）： 1874-1890. |
| [14] | QIN T， CAO S Z， PAN J， et al. A general optimization-based framework for global pose estimation with multiple sensors［DB/OL］. arXiv preprint： 1901.03642， 2019. |
| [15] | TEED Z， DENG J. DROID-SLAM： Deep visual SLAM for monocular， stereo， and RGB-D cameras［DB/OL］. arXiv preprint： 2108.10869， 2021. |
| [16] | KEETHA N， KARHADE J， JATAVALLABHULA K M， et al. SplaTAM： Splat， track & map 3D Gaussians for dense RGB-D SLAM［C］∥2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2024： 21357-21366. |
| [17] | BIANCHI M， BARFOOT T D. UAV localization using autoencoded satellite images［J］. IEEE Robotics and Automation Letters， 2021， 6（2）： 1761-1768. |
| [18] | 冯宇. 广域环境视觉辅助无人机自主导航方法研究［D］. 北京： 中国科学院大学（中国科学院国家空间科学中心）， 2022. |
| FENG Y. Research on vision assisted autonomous navigation of UAV in wide area environment［D］. Beijing： Chinese Academy of Sciences（National Space Science Center）， 2022 （in Chinese）. | |
| [19] | 魏利波. 无人机视觉导航图像配准技术研究［D］. 沈阳： 沈阳大学， 2022. |
| WEI L B. Research on image registration technology of UAV visual navigation［D］. Shenyang： Shenyang University， 2022 （in Chinese）. | |
| [20] | RADOSAVOVIC I， KOSARAJU R P， GIRSHICK R， et al. Designing network design spaces［C］∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 10428-10436. |
| [21] | MA N N， ZHANG X Y， ZHENG H T， et al. ShuffleNet V2： Practical guidelines for efficient CNN architecture design［C］∥Computer Vision-ECCV 2018. Cham： Springer International Publishing. 2018： 122-138. |
| [22] | DING X H， ZHANG X Y， MA N N， et al. RepVGG： Making VGG-style ConvNets great again［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 13733-13742. |
| [23] | 熊乾凯. 基于机器视觉的无人机导航定位技术研究［D］. 广汉： 中国民用航空飞行学院， 2024. |
| XIONG Q K. Research on UAV navigation and localization technology based on machine vision ［D］. Guanghan： Civil Aviation Flight University of China， 2024 （in Chinese）. | |
| [24] | GU A， DAO T. Mamba： Linear-time sequence modeling with selective state spaces［DB/OL］. arXiv preprint： 2312.00752， 2023. |
| [25] | SENGUPTA A， YE Y T， WANG R， et al. Going deeper in spiking neural networks： VGG and residual architectures［J］. Frontiers in Neuroscience， 2019， 13： 95. |
| [26] | 石祥滨， 张劲松， 陈润锋， 等. 一种适合于大尺寸航拍图像的特征点提取方法［J］. 航空学报， 2014， 35（1）： 240-248. |
| SHI X B， ZHANG J S， CHEN R F， et al. A feature point extraction method for large size aerial images［J］. Acta Aeronautica et Astronautica Sinica， 2014， 35（1）： 240-248 （in Chinese）. | |
| [27] | 王秋富， 石治国， 张倬， 等. 舰载机着舰引导中鲁棒单目视觉相对位姿测量［J］. 航空学报， 2024， 45（23）： 30309. |
| WANG Q F， SHI Z G， ZHANG Z， et al. Robust monocular relative pose measurement for carrier-based aircraft landing guidance［J］. Acta Aeronautica et Astronautica Sinica， 2024， 45（23）： 30309 （in Chinese）. | |
| [28] | 赵良玉， 金瑞， 朱叶青， 等. 基于点线特征融合的双目惯性SLAM算法［J］. 航空学报， 2022， 43（3）： 25117. |
| ZHAO L Y， JIN R， ZHU Y Q， et al. Stereo visual-inertial SLAM algorithm based on merge of point and line features［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（3）： 25117 （in Chinese）. | |
| [29] | 万宏发， 李姗姗， 蓝朝桢， 等. 基于因子图的无人机视觉定位方法［J］. 航空学报， 2023， 44（S1）： 727627. |
| WAN H F， LI S S， LAN C Z， et al. UAV visual positioning method based on factor graph［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（S1）： 727627 （in Chinese）. |
/
| 〈 |
|
〉 |
CJA