基于轻量级神经网络的非合作目标位姿单目测量

doi:10.7527/S1000-6893.2024.30248

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于轻量级神经网络的非合作目标位姿单目测量

王梓¹^,², 王靖皓¹^,², 李杨¹^,², 李璋¹^,²(), 于起峰¹^,²

^1.国防科技大学空天科学学院，长沙 410073
^2.图像测量与视觉导航湖南省重点实验室，长沙 410073

收稿日期:2024-01-29 修回日期:2024-04-07 接受日期:2024-04-26 出版日期:2024-11-25 发布日期:2024-04-30
通讯作者: 李璋 E-mail:zhangli_nudt@163.com
基金资助:
国家自然科学基金(12302252);国防科技大学青年自主创新科学基金(ZK24-31)

Non-cooperative target pose estimation from monocular images based on lightweight neural network

Zi WANG¹^,², Jinghao WANG¹^,², Yang LI¹^,², Zhang LI¹^,²(), Qifeng YU¹^,²

^1.College of Aerospace Science and Engineering，National University of Defense Technology，Changsha 410073，China
^2.Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation，Changsha 410073，China

Received:2024-01-29 Revised:2024-04-07 Accepted:2024-04-26 Online:2024-11-25 Published:2024-04-30
Contact: Zhang LI E-mail:zhangli_nudt@163.com
Supported by:
National Natural Science Foundation of China(12302252);Research Program of National University of Defense Technology(ZK24-31)

摘要/Abstract

摘要：

非合作目标位姿单目测量是未来太空任务的关键技术之一，基于深度神经网络的方法已取得优于传统方法的位姿测量精度。然而，由于在轨条件计算资源受限，已有方法使用的神经网络参数量大、计算复杂度高，不能满足在轨实时测量的需求。当模型参数减小时，神经网络的特征提取表达能力下降，导致位姿测量精度降低，因此通过轻量化神经网络实现高精度位姿测量是一个亟待解决的难题。为此，采用基于语义关键点的技术路线，提出了一种基于轻量化神经网络的非合作目标位姿测量方法。首先设计用于热力图回归的轻量级神经网络，其参数量仅为1.1×10⁶。然后，为提升语义关键点定位和位姿测量的精度，提出一种基于亚像素解码的语义关键点定位方法，同时实现了端到端监督。最后，提出辅助层监督训练方法，以进一步提升语义关键点定位精度。在公开数据集上的实验表明，所提方法在参数量小于10⁷的轻量化模型中，以最少的参数量实现了最高的位姿测量精度。在嵌入式开发板上的实验表明，所提方法在10 W和30 W的功率模式下，分别达到5 Hz和11 Hz的测量频率。

关键词: 位姿测量, 单目视觉, 轻量化, 深度学习, 语义关键点

Abstract:

Estimating the pose of non-cooperative targets from monocular images stands as a pivotal technology for future space missions. Recent advancements in deep neural networks have surpassed traditional methods in pose measurement accuracy. However， these networks often entail a high number of parameters and significant computational complexity. This poses a challenge for deployment in on-orbit applications where real-time measurement is crucial， as computational resources are limited. Reducing the number of network parameters compromises the ability to extract representative features， leading to degraded pose estimation performance. To tackle this problem， we present an approach using lightweight neural networks that maintains high accuracy in pose estimation， which is a task far from trivial. Our solution involves a novel semantic keypoint localization method. We develop a lightweighted neural network model with a mere 1.1 ×10⁶ parameters. To enhance the precision of semantic keypoint localization and subsequent pose estimation， we introduce a heatmap decoding technique that allows for sub-pixel level accuracy， while enabling end-to-end supervision of semantic keypoint localization. Moreover， we develop an auxiliary layer supervised training method to further refine the accuracy of semantic keypoint localization. Experiments on public datasets demonstrate that our method not only achieves the highest pose measurement accuracy among all lightweight models with fewer than 10⁷ parameters， but also sets a new benchmark. Additionally， tests on embedded development boards reveal that our method attains measurement frequencies of 5 Hz and 11 Hz in 10 W and 30 W power modes， respectively.

Key words: pose measurement, monocular image, lightweight, deep learning, semantic keypoint

中图分类号:

V248.1

王梓, 王靖皓, 李杨, 李璋, 于起峰. 基于轻量级神经网络的非合作目标位姿单目测量[J]. 航空学报, 2024, 45(22): 330248.

Zi WANG, Jinghao WANG, Yang LI, Zhang LI, Qifeng YU. Non-cooperative target pose estimation from monocular images based on lightweight neural network[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(22): 330248.

图/表 14

图 1

图 2

图 3

表 1

热力图预测头参数设置

操作	输入特征尺寸	输出特征尺寸	卷积核尺寸
卷积层1	$c × h × w$	$4 N × h × w$	$3 × 3$
BN层	$4 N × h × w$	$4 N × h × w$
ReLU激活层	$4 N × h × w$	$4 N × h × w$
卷积层2	$4 N × h × w$	$N × h × w$	$1 × 1$

表 1

图 4

图 5

表 2

参数K敏感性分析

K	3	5	8	12	16	21
得分/ $10 - 3$	15.9	16.5	15.5	15.2	13.7	17.1
成功率/‰	65.5	73.0	76	95.5	103.0	85.5

表 2

表 3

消融实验分析

组件	模型1	模型2	模型3	模型4	模型5
辅助层		√		√	√
回归损失			√	√	√
非线性优化					√
得分/ $10 - 3$	25.9	26.0	22.5	19.4	13.7
成功率/‰	8.0	13.5	29.5	35.5	103.0

表 3

图 6

表 4

与最优方法对比结果

指标	实验1	实验2	实验3	实验4	实验5	实验6	均值	SPN^［12］	文献［18］	文献［19］
$E R$ 均值/（°）	0.62	0.64	0.58	0.67	0.59	0.61	0.62	8.43	0.99	0.66
$E R$ 中值/（°）	0.40	0.39	0.40	0.40	0.38	0.40	0.40	7.07	0.80	0.49
$E$ / $10 - 3$	13.7	14.3	15.1	17.9	13.1	16.3	15.1		22.9	15.3
$t - t ̂$ 均值/mm	2.5	2.4	2.3	2.4	2.5	2.5	2.4	55.0	3.8	2.6
	2.7	2.4	2.4	2.4	2.6	2.5	2.5	46.0	3.7	2.5
	31.6	31.5	28.9	30.0	32.3	31.3	30.9	78.0	64.4	37.4
$t - t ̂$ 中值/mm	1.7	1.7	1.6	1.5	1.6	1.6	1.6	24.0	2.9	1.8
	1.7	1.7	1.6	1.5	1.7	1.6	1.6	21.0	2.7	1.6
	16.0	15.8	16.6	15.1	16.5	15.9	16.0	496.0	43.7	21.4

表 4

图 7

图 8

表 5

表 6

参考文献 26

1	王楷，徐世杰，黎康，等. 双视线测量相对导航方法误差分析与编队设计［J］. 航空学报， 2018， 39（9）： 322014.
	WANG K， XU S J， LI K， et al. Error analysis and formation design for double line-of-sight measuring relative navigation method［J］. Acta Aeronautica et Astronautica Sinica， 2018， 39（9）： 322014 （in Chinese）.
2	肖余之，靳永强，陈欢龙，等. 在轨服务若干关键技术研究进展［J］.上海航天（中英文）， 2021， 38（3）： 85-95.
	XIAO Y Z， JIN Y Q， CHEN H L， et al. Research progress on several key technologies of on-orbit service ［J］. Aerospace Shanghai （Chinese & English）， 2021， 38（3）： 85-95 （in Chinese）.
3	于浛，魏喜庆，宋申民，等. 基于自适应容积卡尔曼滤波的非合作航天器相对运动估计［J］. 航空学报， 2014， 35（8）： 2251-2260.
	YU H， WEI X Q， SONG S M， et al. Relative motion estimation of non-cooperative spacecraft based on adaptive CKF［J］. Acta Aeronautica et Astronautica Sinica， 2014， 35（8）： 2251-2260 （in Chinese）.
4	OPROMOLLA R， FASANO G， RUFINO G， et al. A review of cooperative and uncooperative spacecraft pose determination techniques for close-proximity operations［J］. Progress in Aerospace Sciences， 2017， 93： 53-72.
5	KISANTAL M， SHARMA S， PARK T H， et al. Satellite pose estimation challenge： dataset， competition design， and results［J］. IEEE Transactions on Aerospace and Electronic Systems， 2020， 56（5）： 4083-4098.
6	PARK T H， MÄRTENS M， JAWAID M， et al. Satellite pose estimation competition 2021： results and analyses［J］. Acta Astronautica， 2023， 204： 640-665.
7	WANG Z， CHEN M L， GUO Y L， et al. Bridging the domain gap in satellite pose estimation： a self-training approach based on geometrical constraints［J］. IEEE Transactions on Aerospace and Electronic Systems， 2024， 60（3）： 2500-2514.
8	CHEN B， CAO J W， PARRA A， et al. Satellite pose estimation with deep landmark regression and nonlinear pose refinement［C］∥ 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. Piscataway： IEEE Press， 2019： 2816-2824.
9	LEPETIT V， MORENO-NOGUER F， FUA P. EPnP： an accurate O（n） solution to the PnP problem［J］. International Journal of Computer Vision， 2009， 81（2）： 155-166.
10	BECHINI M， GU G， LUNGHI P， et al. Robust spacecraft relative pose estimation via CNN-aided line segments detection in monocular images［J］. Acta Astronautica， 2024， 215： 20-43.
11	PROENÇA P F， GAO Y. Deep learning for spacecraft pose estimation from photorealistic rendering［C］‍∥ 2020 IEEE International Conference on Robotics and Automation （ICRA）. Piscataway： IEEE Press， 2020： 6007-6013.
12	SHARMA S， D’AMICO S. Neural network-based pose estimation for noncooperative spacecraft rendezvous［J］. IEEE Transactions on Aerospace and Electronic Systems， 2020， 56（6）： 4638-4658.
13	PARK T H， SHARMA S， D’AMICO S. Towards robust learning-based pose estimation of noncooperative spacecraft［C］‍∥ 2019 AAS/AIAA Astrodynamics Specialist Conference. 2019.
14	SANDLER M， HOWARD A， ZHU M L， et al. MobileNetV2： inverted residuals and linear bottlenecks［C］‍∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 4510-4520.
15	ZHANG X Y， ZHOU X Y， LIN M X， et al. ShuffleNet： an extremely efficient convolutional neural network for mobile devices［C］∥ 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 6848-6856.
16	褚晶辉，李梦，吕卫. 基于深度学习的自适应动态滤波器剪枝方法［J］. 激光与光电子学进展， 2022， 59（24）： 2415003.
	CHU J H， LI M， LÜ W. Adaptive dynamic filter pruning approach based on deep learning［J］. Laser & Optoelectronics Progress， 2022， 59（24）： 2415003 （in Chinese）.
17	黄赟，张帆，郭威，等. 一种基于数据标准差的卷积神经网络量化方法［J］. 电子学报， 2023， 51（3）： 639-647.
	HUANG Y， ZHANG F， GUO W， et al. A quantification method of convolutional neural network based on data standard deviation［J］. Acta Electronica Sinica， 2023， 51（3）： 639-647 （in Chinese）.
18	王梓，孙晓亮，李璋，等．基于Transformer模型的卫星单目位姿估计方法［J］．航空学报， 2022， 43（1）： 325298.
	WANG Z， SUN X L， LI Z， et al. Transformer based monocular satellite pose estimation［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（1）： 325298 （in Chinese）.
19	WANG Z， ZHANG Z， SUN X L， et al. Revisiting monocular satellite pose estimation with transformer［J］. IEEE Transactions on Aerospace and Electronic Systems， 2022， 58（5）： 4279-4294.
20	POSSO J， BOIS G， SAVARIA Y. Mobile-URSONet： an embeddable neural network for onboard spacecraft pose estimation［C］∥ 2022 IEEE International Symposium on Circuits and Systems （ISCAS）. Piscataway： IEEE Press， 2022： 794-798.
21	BLACK K， SHANKAR S， FONSEKA D， et al. Real-time， flight-ready， non-cooperative spacecraft pose estimation using monocular imagery［C］‍∥ 31st AAS/AIAA Space Flight Mechanics Meeting， 2021.
22	LOTTI A， MODENINI D， TORTORA P， et al. Deep learning for real-time satellite pose estimation on tensor processing units［J］. Journal of Spacecraft and Rockets， 2023， 60（3）： 1034-1038.
23	于起峰，尚洋. 摄像测量学原理与应用研究［M］. 北京：科学出版社， 2009： 23-32.
	YU Q F， SHANG Y. Videometrics： principles and researches［M］. Beijing： Science Press， 2009： 23-32 （in Chinese）.
24	FISCHLER M. Random sample consensus： a paradigm for model fitting with applications to image analysis and automated cartography［J］. Communications of the ACM， 1981， 24（6）： 381-395.
25	YU C Q， XIAO B， GAO C X， et al. Lite-HRNet： a lightweight high-resolution network［C］‍∥ 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 10435-10445.
26	WANG X Y， BO L F， LI F X. Adaptive wing loss for robust face alignment via heatmap regression［C］‍∥ 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2019： 6970-6980.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

方法	得分	参数量/10⁶	测量频率/Hz
UniAdelaide^［8］	9.4	28.5
SLAB_baseline^［13］	62.6	5.6
文献［22］ Lite4	14.3	12.1	1.7
文献［22］ Lite3	15.2	7.2	2.9
文献［22］ Lite2	16.3	5.1	4.1
文献［22］ Lite1	16.6	4.4	5.4
文献［22］ Lite0	18.6	3.6	7.7
文献［21］	40.9	3.6	11.9
本文方法	15.1	1.1	10.9

[1]	徐建宇, 周莉, 王占学, 是介, 史毫. 基于快速逐线计算模型的高超声速羽流红外辐射计算方法[J]. 航空学报, 2025, 46(8): 630778-630778.
[2]	孟令捷, 李红光, 李新军. 基于地貌类别信息指导的SAR图像仿真方法[J]. 航空学报, 2025, 46(7): 331003-331003.
[3]	丁奇帅, 雷帮军, 吴正平. 基于孪生网络的轻量型无人机单目标跟踪算法[J]. 航空学报, 2025, 46(4): 330925-330925.
[4]	赵志浩, 杨照华, 吴云, 余远金. 弱光环境下基于深度学习的单光子计数成像去噪方法[J]. 航空学报, 2025, 46(3): 630531-630531.
[5]	吴一全, 童康. 基于深度学习的无人机航拍图像小目标检测研究进展[J]. 航空学报, 2025, 46(3): 30848-030848.
[6]	朱继宏, 韩嘉诚, 谷小军, 张亚辉, 王骏, 侯杰, 张卫红. 跨域飞行器结构与变构型设计技术进展与挑战[J]. 航空学报, 2025, 46(18): 431686-431686.
[7]	姜筱巍, 吴一全. 无人机航拍图像拼接方法研究进展[J]. 航空学报, 2025, 46(17): 331799-331799.
[8]	陈霖, 顾曦文, 陈知颖, 张倬, 孙晓亮. 适应着舰引导大距离跨度的高精度单目视觉位姿测量[J]. 航空学报, 2025, 46(15): 331568-331568.
[9]	孙彬, 游航, 李文博, 刘祥瑞, 马佳义. 双光载荷图像融合及其在低空遥感中的应用[J]. 航空学报, 2025, 46(11): 531343-531343.
[10]	陈琳, 朱庆, 胡翰, 丁雨淋, 顾朋鑫. FLASH：无人机滑坡灾情轻巧感知系统[J]. 航空学报, 2025, 46(11): 531293-531293.
[11]	孟凡腾, 秦勇, 崔京, 吴云鹏, 张紫城, 魏少伟. 铁路外部环境无人机图像未知风险检测方法[J]. 航空学报, 2025, 46(11): 531262-531262.
[12]	陈唯实, 牛红闯, 王鑫, 万健, 卢贤锋, 张洁, 王青斌. 机场净空区飞鸟与无人机多源探测技术综述[J]. 航空学报, 2025, 46(10): 31251-031251.
[13]	林杰, 唐志共, 钱炜祺, 王岳青, 张鹏, 徐炜遐, 刘杰. 飞行器生成式模型气动设计研究进展与展望[J]. 航空学报, 2025, 46(10): 631679-631679.
[14]	王永海, 李昊歌, 李嘉鑫, 段毅, 田川, 郭灵犀, 吴旭生. 基于深度学习的飞行器外形快速生成[J]. 航空学报, 2025, 46(10): 631614-631614.
[15]	柳家齐, 陈荣钱, 楼锦华, 韩旭, 吴昊, 尤延铖. 基于深度学习的高速直升机旋翼翼型气动优化设计[J]. 航空学报, 2024, 45(9): 529828-529828.

基于轻量级神经网络的非合作目标位姿单目测量

Non-cooperative target pose estimation from monocular images based on lightweight neural network

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 26

相关文章 15

编辑推荐

Metrics

本文评价

功率/W	线程数	耗时/ms	得分
10	2	197.6	13.7
15	4	184.1	13.7
30	2	111.1	13.7
30 （Max）	8	92.3	13.7