面向投影增强现实跟踪定位器的稳定位姿估计与标定方法

doi:10.7527/S1000-6893.2024.31072

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 |

面向投影增强现实跟踪定位器的稳定位姿估计与标定方法

赵西富¹, 崔海华¹(), 张益华¹, 杨仁川¹, 周家锐¹, 彭凯², 廖敏捷³

^1.南京航空航天大学机电学院，南京 210016
^2.中国航发湖南动力机械研究所，株洲 412002
^3.中国航发南方工业有限公司，株洲 412000

收稿日期:2024-08-19 修回日期:2024-10-16 接受日期:2024-11-25 出版日期:2024-12-06 发布日期:2024-12-05
通讯作者: 崔海华 E-mail:cuihh@nuaa.edu.cn
基金资助:
中央高校基本科研业务费专项资金(56XCA2403107);中国航空发动机集团产学研合作项目(HFZL2022CXY006);南京航空航天大学研究生科研与实践创新计划(xcxjh20230512)

Stable pose estimation and calibration method for projection augmented reality tracking locator

Xifu ZHAO¹, Haihua CUI¹(), Yihua ZHANG¹, Renchuan YANG¹, Jiarui ZHOU¹, Kai PENG², Minjie LIAO³

^1.College of Mechanical and Electrical Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China
^2.China Aero Engine Corporation Hunan Power Machinery Research Institute，Zhuzhou 412002，China
^3.China Aero Engine South Industries Co. ，Ltd. ，Zhuzhou 412000，China

Received:2024-08-19 Revised:2024-10-16 Accepted:2024-11-25 Online:2024-12-06 Published:2024-12-05
Contact: Haihua CUI E-mail:cuihh@nuaa.edu.cn
Supported by:
Special Funds for Basic Scientific Research Operating Expenses of Central Universities(56XCA2403107);China Aviation Industry Corporation Industry-University-Research Cooperation Project(HFZL2022CXY006);Nanjing University of Aeronautics and Astronautics Graduate Research and Practice Innovation Program(xcxjh20230512)

摘要/Abstract

摘要：

为了克服传统原位投影增强现实（PAR）系统在遮挡、受限空间中的投影局限性，设计并实现了一种基于跟踪的PAR装配辅助系统。首先，针对系统构建中存在的中转靶标定位问题，借用点对特征（PPF）中“整体建模，局部匹配”的思想，提出了一种基于投票的中转靶标定位算法。然后，针对中转靶标和投影仪之间的位姿标定问题，提出了一种基于多站位耦合的中转位姿标定算法，利用Kronecker积简化位姿模型，并通过构造拉格朗日方程进行求解。最后，通过开展中转靶标定位稳定性试验以及中转位姿标定试验验证了所提算法的有效性。通过在飞机机头舱段场景中进行投影定位试验，验证了系统的灵活性，也说明该系统框架可以有效地扩展PAR系统的应用范围。

关键词: 投影增强现实, 装配辅助, 投票机制, 位姿估计, 迭代方法

Abstract:

To overcome the projection limitations of traditional in-situ Projection Augmented Reality （PAR） systems in occlusion and restricted spaces， a tracking-based PAR assembly assistance system is designed and implemented. Firstly， in view of the transfer target positioning problem existing in system construction， a transfer target positioning algorithm based on voting is proposed by borrowing the idea of “model globally， match locally” from Point Pair Features （PPF）. In addition， in view of the pose calibration problem between the transfer target and the projector， a transfer pose calibration algorithm based on multi-station coupling is proposed. The pose model is simplified by using Kronecker product and solved by constructing Lagrangian equations. Finally， the effectiveness of the proposed algorithm is verified by conducting transfer target positioning stability tests and transfer pose calibration tests. The flexibility of the system is verified by conducting projection positioning tests in the aircraft nose cabin scene. It is shown that the system framework can effectively expand the application scope of the PAR system.

Key words: projection augmented reality, assembly assistance, voting mechanism, pose estimation, iterative method

中图分类号:

赵西富, 崔海华, 张益华, 杨仁川, 周家锐, 彭凯, 廖敏捷. 面向投影增强现实跟踪定位器的稳定位姿估计与标定方法[J]. 航空学报, 2025, 46(8): 331072.

Xifu ZHAO, Haihua CUI, Yihua ZHANG, Renchuan YANG, Jiarui ZHOU, Kai PENG, Minjie LIAO. Stable pose estimation and calibration method for projection augmented reality tracking locator[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(8): 331072.

图/表 21

图 1

图 2

图 3

图 4

图 5

图 6

图 7

图 8

图 9

图10

表1

公共模板法和多站位耦合法求解结果

方法	$R T P$ /mm	$t T P$ /mm
公共模板法 $(M T P) 1$	$- 1.000 1 0.001 1 - 0.005 1 - 0.000 0 - 0.999 5 - 0.013 9 - 0.005 3 - 0.014 0 0.999 7$	$35.211 - 281.034 - 22.938$
多站位耦合法 $(M T P) 2$	$- 0.999 9 0.012 4 - 0.000 1 - 0.012 4 - 0.999 9 - 0.012 0 0.000 0 - 0.012 0 0.999 9$	$35.137 - 281.312 - 22.825$

表1

图 11

表2

标定板3个大圆在投影仪坐标系下的三维坐标

点坐标	$p 1 P$ /mm	$p 2 P$ /mm	$p 3 P$ /mm
数值	$- 14.225 - 3.227 456.453$	$- 14.381 - 32.091 464.643$	$30.770 - 3.164 457.588$

表2

图 12

图 13

图 14

图 15

图 16

图 17

图18

图 19

参考文献 22

1	BOTTANI E， VIGNALI G. Augmented reality technology in the manufacturing industry： A review of the last decade［J］. IISE Transactions， 2019， 51（3）： 284-310.
2	LEE J， BAGHERI B， KAO H G. A cyber-physical systems architecture for industry 4.0-based manufacturing systems［J］. Manufacturing Letters， 2015， 3： 18-23.
3	潘志庚，高嘉利，王若楠，等. 面向实物交互的空间增强现实数字孪生法配准技术［J］. 计算机辅助设计与图形学学报， 2021， 33（5）： 655-661.
	PAN Z G， GAO J L， WANG R N， et al. Digital twin registration technique of spatial augmented reality for tangible interaction‍［J］. Journal of Computer-Aided Design & Computer Graphics， 2021， 33（5）： 655-661 （in Chinese）.
4	秦玉波，穆欣伟，邹方. 基于空间增强现实的辅助装配系统研究［J］. 航空制造技术， 2022， 65（12）： 56-62.
	QIN Y B， MU X W， ZOU F. Research on auxiliary assembly system based on spatial augmented reality‍［J］. Aeronautical Manufacturing Technology， 2022， 65（12）： 56-62 （in Chinese）.
5	叶凯玉，周玲，张辉，等. 基于结构光场辅助的面阵定位投影标示技术研发［J］. 航空制造技术， 2024， 67（）： 131-138.
	YE K Y， ZHOU L， ZHANG H， et al. Research on area array projection positioned indication based on structured light field aid‍［J］. Aeronautical Manufacturing Technology， 2024， 67（Sup 1）： 131-138 （in Chinese）.
6	TREINEN T， KOLLA S S V K. Augmented reality for quality inspection， assembly and remote assistance in manufacturing‍［J］. Procedia Computer Science， 2024， 232： 533-543.
7	SERENO M， WANG X Y， BESANCON L， et al. Collaborative work in augmented reality： a survey［J］. IEEE Transactions on Visualization and Computer Graphics， 2022， 28（6）： 2530-2549.
8	BEARDSLEY P， VAN BAAR J， RASKAR R， et al. Interaction using a handheld projector‍［J］. IEEE Computer Graphics and Applications， 2005， 25（1）： 39-43.
9	DEGANI A， LI W B， SACKS R， et al. An automated system for projection of interior construction layouts‍［J］. IEEE Transactions on Automation Science and Engineering， 2019， 16（4）： 1825-1835.
10	CORTES G， MARCHAND E， BRINCIN G， et al. MoSART： Mobile spatial augmented reality for 3D interaction with tangible objects‍［J］. Frontiers in Robotics and AI， 2018， 5： 93.
11	翁金平，程筱胜，崔海华，等. 面向三维测量的空间标志点高稳定实时匹配方法［J］. 激光与光电子学进展， 2016， 53（2）： 109-116.
	WENG J P， CHENG X S， CUI H H， et al. Robust matching algorithm for real-time 3D measurement based on spatial marked points［J］. Laser & Optoelectronics Progress， 2016， 53（2）： 109-116 （in Chinese）.
12	SHI J L， SUN Z X， BAI S Q. 3D reconstruction framework via combining one 3D scanner and multiple stereo trackers‍［J］. The Visual Computer， 2018， 34（3）： 377-389.
13	WEN Z M， WANG Y J， LUO J， et al. Robust， fast and accurate vision-based localization of a cooperative target used for space robotic arm［J］. Acta Astronautica， 2017， 136： 101-114.
14	温卓漫，王延杰，邸男，等. 空间站机械臂位姿测量中合作靶标的快速识别［J］. 航空学报， 2015， 36（4）： 1330-1338.
	WEN Z M， WANG Y J， DI N， et al. Fast recognition of cooperative target used for position and orientation measurement of space station’s robot arm［J］. Acta Aeronautica et Astronautica Sinica， 2015， 36（4）： 1330-1338 （in Chinese）.
15	JIANG T， CHENG X， CUI H， et al. Combined shape measurement based on locating and tracking of an optical scanner［J］. Journal of Instrumentation， 2019， 14（1）： P01006.
16	刘传凯，雷俊雄，刘茜，等. 基于逆投影的多椭圆联合快速高精度定位算法‍［J］. 航空学报， 2023， 44（12）： 327731.
	LIU C K， LEI J X， LIU Q， et al. Fast and precise location measurement of joint multiple ellipses based on inverse transformation of perspective projection‍［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（12）： 327731 （in Chinese）.
17	BARONE S， PAOLI A， RAZIONALE A. 3D reconstruction and restoration monitoring of sculptural artworks by a multi-sensor framework［J］. Sensors， 2012， 12（12）： 16785-16801.
18	JIANG T， CUI H H， CHENG X S. Accurate calibration for large-scale tracking-based visual measurement system［J］. IEEE Transactions on Instrumentation and Measurement， 2020， 70： 5003011.
19	陈媛，罗哉，杨力，等. 一种基于立体靶标定位的三维重建方法［J］. 计量学报， 2024， 45（4）： 471-479.
	CHEN Y， LUO Z， YANG L， et al. A 3D reconstruction method based on stereo target location‍［J］. Acta Metrologica Sinica， 2024， 45（4）： 471-479 （in Chinese）.
20	DROST B， ULRICH M， NAVAB N， et al. Model globally， match locally： Efficient and robust 3D object recognition［C］∥2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2010.
21	BESL P J， MCKAY N D. A method for registration of 3-D shapes［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1992， 14（2）： 239-256.
22	LEPETIT V， MORENO-NOGUER F， FUA P. EPnP： An accurate O（n） solution to the PnP problem［J］. International Journal of Computer Vision， 2009， 81（2）： 155-166.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

[1]	王平, 付辉, 徐贵力. 基于旋转搜索的相机位姿估计和对应点匹配[J]. 航空学报, 2023, 44(2): 326695-326695.
[2]	王梓, 孙晓亮, 李璋, 程子龙, 于起峰. 基于Transformer模型的卫星单目位姿估计方法[J]. 航空学报, 2022, 43(5): 325298-325298.
[3]	刘付成, 牟金震, 刘宗明, 韩飞, 李爽. 低照度小样本限制下的失效卫星相对位姿估计与优化[J]. 航空学报, 2021, 42(4): 524984-524984.
[4]	牟金震, 刘宗明, 韩飞, 周彦, 李爽. 失效卫星远距离相对位姿估计与优化方法[J]. 航空学报, 2021, 42(11): 524959-524959.
[5]	张咪, 赵勇, 布树辉, 张臻炜, 杨君. 基于阶层标识的无人机自主精准降落系统[J]. 航空学报, 2018, 39(10): 322150-322150.
[6]	陈少昌, 贺慧英, 禹华钢. 传感器位置误差条件下的约束总体最小二乘时差定位算法[J]. 航空学报, 2013, 34(5): 1165-1173.
[7]	张敏, 郭福成, 周一宇. 基于单个长基线干涉仪的运动单站直接定位[J]. 航空学报, 2013, 34(2): 378-386.

面向投影增强现实跟踪定位器的稳定位姿估计与标定方法

Stable pose estimation and calibration method for projection augmented reality tracking locator

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 21

参考文献 22

相关文章 7

编辑推荐

Metrics

本文评价