基于轻量级神经网络的非合作目标位姿单目测量
收稿日期: 2024-01-29
修回日期: 2024-04-07
录用日期: 2024-04-26
网络出版日期: 2024-04-30
基金资助
国家自然科学基金(12302252);国防科技大学青年自主创新科学基金(ZK24-31)
Non-cooperative target pose estimation from monocular images based on lightweight neural network
Received date: 2024-01-29
Revised date: 2024-04-07
Accepted date: 2024-04-26
Online published: 2024-04-30
Supported by
National Natural Science Foundation of China(12302252);Research Program of National University of Defense Technology(ZK24-31)
非合作目标位姿单目测量是未来太空任务的关键技术之一，基于深度神经网络的方法已取得优于传统方法的位姿测量精度。然而，由于在轨条件计算资源受限，已有方法使用的神经网络参数量大、计算复杂度高，不能满足在轨实时测量的需求。当模型参数减小时，神经网络的特征提取表达能力下降，导致位姿测量精度降低，因此通过轻量化神经网络实现高精度位姿测量是一个亟待解决的难题。为此，采用基于语义关键点的技术路线，提出了一种基于轻量化神经网络的非合作目标位姿测量方法。首先设计用于热力图回归的轻量级神经网络，其参数量仅为1.1×106。然后，为提升语义关键点定位和位姿测量的精度，提出一种基于亚像素解码的语义关键点定位方法，同时实现了端到端监督。最后，提出辅助层监督训练方法，以进一步提升语义关键点定位精度。在公开数据集上的实验表明，所提方法在参数量小于107的轻量化模型中，以最少的参数量实现了最高的位姿测量精度。在嵌入式开发板上的实验表明，所提方法在10 W和30 W的功率模式下，分别达到5 Hz和11 Hz的测量频率。
王梓 , 王靖皓 , 李杨 , 李璋 , 于起峰 . 基于轻量级神经网络的非合作目标位姿单目测量[J]. 航空学报, 2024 , 45(22) : 330248 -330248 . DOI: 10.7527/S1000-6893.2024.30248
Estimating the pose of non-cooperative targets from monocular images stands as a pivotal technology for future space missions. Recent advancements in deep neural networks have surpassed traditional methods in pose measurement accuracy. However， these networks often entail a high number of parameters and significant computational complexity. This poses a challenge for deployment in on-orbit applications where real-time measurement is crucial， as computational resources are limited. Reducing the number of network parameters compromises the ability to extract representative features， leading to degraded pose estimation performance. To tackle this problem， we present an approach using lightweight neural networks that maintains high accuracy in pose estimation， which is a task far from trivial. Our solution involves a novel semantic keypoint localization method. We develop a lightweighted neural network model with a mere 1.1 ×106 parameters. To enhance the precision of semantic keypoint localization and subsequent pose estimation， we introduce a heatmap decoding technique that allows for sub-pixel level accuracy， while enabling end-to-end supervision of semantic keypoint localization. Moreover， we develop an auxiliary layer supervised training method to further refine the accuracy of semantic keypoint localization. Experiments on public datasets demonstrate that our method not only achieves the highest pose measurement accuracy among all lightweight models with fewer than 107 parameters， but also sets a new benchmark. Additionally， tests on embedded development boards reveal that our method attains measurement frequencies of 5 Hz and 11 Hz in 10 W and 30 W power modes， respectively.
Key words： pose measurement; monocular image; lightweight; deep learning; semantic keypoint
| 1 | 王楷， 徐世杰， 黎康， 等. 双视线测量相对导航方法误差分析与编队设计［J］. 航空学报， 2018， 39（9）： 322014. |
| WANG K， XU S J， LI K， et al. Error analysis and formation design for double line-of-sight measuring relative navigation method［J］. Acta Aeronautica et Astronautica Sinica， 2018， 39（9）： 322014 （in Chinese）. | |
| 2 | 肖余之， 靳永强， 陈欢龙， 等. 在轨服务若干关键技术研究进展［J］.上海航天（中英文）， 2021， 38（3）： 85-95. |
| XIAO Y Z， JIN Y Q， CHEN H L， et al. Research progress on several key technologies of on-orbit service ［J］. Aerospace Shanghai （Chinese & English）， 2021， 38（3）： 85-95 （in Chinese）. | |
| 3 | 于浛， 魏喜庆， 宋申民， 等. 基于自适应容积卡尔曼滤波的非合作航天器相对运动估计［J］. 航空学报， 2014， 35（8）： 2251-2260. |
| YU H， WEI X Q， SONG S M， et al. Relative motion estimation of non-cooperative spacecraft based on adaptive CKF［J］. Acta Aeronautica et Astronautica Sinica， 2014， 35（8）： 2251-2260 （in Chinese）. | |
| 4 | OPROMOLLA R， FASANO G， RUFINO G， et al. A review of cooperative and uncooperative spacecraft pose determination techniques for close-proximity operations［J］. Progress in Aerospace Sciences， 2017， 93： 53-72. |
| 5 | KISANTAL M， SHARMA S， PARK T H， et al. Satellite pose estimation challenge： dataset， competition design， and results［J］. IEEE Transactions on Aerospace and Electronic Systems， 2020， 56（5）： 4083-4098. |
| 6 | PARK T H， M?RTENS M， JAWAID M， et al. Satellite pose estimation competition 2021： results and analyses［J］. Acta Astronautica， 2023， 204： 640-665. |
| 7 | WANG Z， CHEN M L， GUO Y L， et al. Bridging the domain gap in satellite pose estimation： a self-training approach based on geometrical constraints［J］. IEEE Transactions on Aerospace and Electronic Systems， 2024， 60（3）： 2500-2514. |
| 8 | CHEN B， CAO J W， PARRA A， et al. Satellite pose estimation with deep landmark regression and nonlinear pose refinement［C］∥ 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. Piscataway： IEEE Press， 2019： 2816-2824. |
| 9 | LEPETIT V， MORENO-NOGUER F， FUA P. EPnP： an accurate O（n） solution to the PnP problem［J］. International Journal of Computer Vision， 2009， 81（2）： 155-166. |
| 10 | BECHINI M， GU G， LUNGHI P， et al. Robust spacecraft relative pose estimation via CNN-aided line segments detection in monocular images［J］. Acta Astronautica， 2024， 215： 20-43. |
| 11 | PROEN?A P F， GAO Y. Deep learning for spacecraft pose estimation from photorealistic rendering［C］?∥ 2020 IEEE International Conference on Robotics and Automation （ICRA）. Piscataway： IEEE Press， 2020： 6007-6013. |
| 12 | SHARMA S， D’AMICO S. Neural network-based pose estimation for noncooperative spacecraft rendezvous［J］. IEEE Transactions on Aerospace and Electronic Systems， 2020， 56（6）： 4638-4658. |
| 13 | PARK T H， SHARMA S， D’AMICO S. Towards robust learning-based pose estimation of noncooperative spacecraft［C］?∥ 2019 AAS/AIAA Astrodynamics Specialist Conference. 2019. |
| 14 | SANDLER M， HOWARD A， ZHU M L， et al. MobileNetV2： inverted residuals and linear bottlenecks［C］?∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 4510-4520. |
| 15 | ZHANG X Y， ZHOU X Y， LIN M X， et al. ShuffleNet： an extremely efficient convolutional neural network for mobile devices［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 6848-6856. |
| 16 | 褚晶辉， 李梦， 吕卫. 基于深度学习的自适应动态滤波器剪枝方法［J］. 激光与光电子学进展， 2022， 59（24）： 2415003. |
| CHU J H， LI M， Lü W. Adaptive dynamic filter pruning approach based on deep learning［J］. Laser & Optoelectronics Progress， 2022， 59（24）： 2415003 （in Chinese）. | |
| 17 | 黄赟， 张帆， 郭威， 等. 一种基于数据标准差的卷积神经网络量化方法［J］. 电子学报， 2023， 51（3）： 639-647. |
| HUANG Y， ZHANG F， GUO W， et al. A quantification method of convolutional neural network based on data standard deviation［J］. Acta Electronica Sinica， 2023， 51（3）： 639-647 （in Chinese）. | |
| 18 | 王梓， 孙晓亮， 李璋， 等 ．基于Transformer模型的卫星单目位姿估计方法［J］．航空学报， 2022， 43（1）： 325298. |
| WANG Z， SUN X L， LI Z， et al. Transformer based monocular satellite pose estimation［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（1）： 325298 （in Chinese）. | |
| 19 | WANG Z， ZHANG Z， SUN X L， et al. Revisiting monocular satellite pose estimation with transformer［J］. IEEE Transactions on Aerospace and Electronic Systems， 2022， 58（5）： 4279-4294. |
| 20 | POSSO J， BOIS G， SAVARIA Y. Mobile-URSONet： an embeddable neural network for onboard spacecraft pose estimation［C］∥ 2022 IEEE International Symposium on Circuits and Systems （ISCAS）. Piscataway： IEEE Press， 2022： 794-798. |
| 21 | BLACK K， SHANKAR S， FONSEKA D， et al. Real-time， flight-ready， non-cooperative spacecraft pose estimation using monocular imagery［C］?∥ 31st AAS/AIAA Space Flight Mechanics Meeting， 2021. |
| 22 | LOTTI A， MODENINI D， TORTORA P， et al. Deep learning for real-time satellite pose estimation on tensor processing units［J］. Journal of Spacecraft and Rockets， 2023， 60（3）： 1034-1038. |
| 23 | 于起峰， 尚洋. 摄像测量学原理与应用研究［M］. 北京： 科学出版社， 2009： 23-32. |
| YU Q F， SHANG Y. Videometrics： principles and researches［M］. Beijing： Science Press， 2009： 23-32 （in Chinese）. | |
| 24 | FISCHLER M. Random sample consensus： a paradigm for model fitting with applications to image analysis and automated cartography［J］. Communications of the ACM， 1981， 24（6）： 381-395. |
| 25 | YU C Q， XIAO B， GAO C X， et al. Lite-HRNet： a lightweight high-resolution network［C］?∥ 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 10435-10445. |
| 26 | WANG X Y， BO L F， LI F X. Adaptive wing loss for robust face alignment via heatmap regression［C］?∥ 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2019： 6970-6980. |
/
| 〈 |
|
〉 |
CJA