ACTA AERONAUTICAET ASTRONAUTICA SINICA >
Camera pose estimation and corresponding points matching based on rotation search
Received date: 2021-11-24
Revised date: 2021-12-27
Accepted date: 2022-05-18
Online published: 2022-06-08
Supported by
National Natural Science Foundation of China(62173170);Gansu Province Science Foundation for Youths(20JR10RA186);State Key Laboratory of Synthetical Automation for Process Industries(2021-KF-21-04);Key Laboratory of Gansu Advanced Control for Industrial Processes(2022KX02)
The traditional Simultaneous Pose and Correspondence Determination （SPCD） algorithm uses a two-stage alternate iteration strategy to calculate the camera pose， which leads to poor accuracy. Besides， the traditional SPCD algorithm relies on local search strategies， and have no guarantee of finding the globally optimal solution. To improve the accuracy and the ability of global convergence of solving the SPCD problem， a new solving model based on point-to-point constraints is derived for the SPCD problem in this paper. Based on this new model， an optimal objective function is constructed by using the angle distance， and the branch-and-bound method is used to search the optimal camera pose and the 3D/2D correspondences. Experiments show that the proposed method has higher accuracy and convergence rate compared to the traditional SoftPOSIT algorithm， and would have wide applications.
Ping WANG , Hui FU , Guili XU . Camera pose estimation and corresponding points matching based on rotation search[J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2023 , 44(2) : 326695 -326695 . DOI: 10.7527/S1000-6893.2022.26695
| 1 | 张志勇， 张靖， 朱大勇. 一种基于视觉成像的快速收敛的位姿测量算法及实验研究［J］. 航空学报， 2007， 28（4）： 943-947. |
| ZHANG Z Y， ZHANG J， ZHU D Y. A fast convergent pose estimation algorithm and experiments based on vision images［J］. Acta Aeronautica et Astronautica Sinica， 2007， 28（4）： 943-947 （in Chinese）. | |
| 2 | 刘宗明， 牟金震， 张硕， 等. 空间失效慢旋卫星视觉特征跟踪与位姿测量［J］. 航空学报， 2021， 42（1）： 524163. |
| LIU Z M， MU J Z， ZHANG S， et al. Visual feature tracking and pose measurement for slow rotating failure satellites［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（1）： 524163 （in Chinese）. | |
| 3 | 邢伯阳， 潘峰， 王位， 等. 基于复合地标导航的动平台四旋翼飞行器自主优化降落技术［J］. 航空学报， 2019， 40（6）： 322601. |
| XING B Y， PAN F， WANG W， et al. Moving platform self-optimization landing technology for quadrotor based on hybrid landmark［J］. Acta Aeronautica et Astronautica Sinica， 2019， 40（6）： 322601 （in Chinese）. | |
| 4 | LIN S G， GARRATT M A， LAMBERT A J. Monocular vision-based real-time target recognition and tracking for autonomously landing an UAV in a cluttered shipboard environment［J］. Autonomous Robots， 2017， 41（4）： 881-901. |
| 5 | LU C P， HAGER G D， MJOLSNESS E. Fast and globally convergent pose estimation from video images［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（6）： 610-622. |
| 6 | 汪佳宝， 张世荣， 周清雅. 基于视觉EPnP加权迭代算法的三维位移实时测量［J］. 仪器仪表学报， 2020， 41（2）： 166-175. |
| WANG J B， ZHANG S R， ZHOU Q Y. Vision based real-time 3D displacement measurement using weighted iterative EPnP algorithm［J］. Chinese Journal of Scientific Instrument， 2020， 41（2）： 166-175 （in Chinese）. | |
| 7 | ABDEL-AZIZ Y I， KARARA H M， HAUCK M. Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry［J］. Photogrammetric Engineering & Remote Sensing， 2015， 81（2）： 103-107. |
| 8 | 王平， 周雪峰， 安爱民， 等. 一种鲁棒且线性的PnP问题求解方法［J］. 仪器仪表学报， 2020， 41（9）： 271-280. |
| WANG P， ZHOU X F， AN A M， et al. Robust and linear solving method for Perspective-n-Point problem［J］. Chinese Journal of Scientific Instrument， 2020， 41（9）： 271-280 （in Chinese）. | |
| 9 | LEPETIT V， MORENO-NOGUER F， FUA P. EPnP： An accurate O（n） solution to the PnP problem［J］. International Journal of Computer Vision， 2009， 81（2）： 155-166. |
| 10 | HESCH J A， ROUMELIOTIS S I. A direct least-squares （DLS） method for PnP［C］∥2011 International Conference on Computer Vision. Piscataway： IEEE Press， 2011： 383-390. |
| 11 | LI S Q， XU C， XIE M. A robust O（n） solution to the perspective-n-point problem［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（7）： 1444-1450. |
| 12 | ZHENG Y Q， KUANG Y B， SUGIMOTO S， et al. Revisiting the PnP problem： A fast， general and optimal solution［C］∥2013 IEEE International Conference on Computer Vision. Piscataway： IEEE Press， 2013： 2344-2351. |
| 13 | WANG P， XU G L， CHENG Y H， et al. A simple， robust and fast method for the perspective-n-point problem［J］. Pattern Recognition Letters， 2018， 108： 31-37. |
| 14 | MOKUNO M， KAWANO I. In-orbit demonstration of an optical navigation system for autonomous rendezvous docking［J］. Journal of Spacecraft and Rockets， 2011， 48（6）： 1046-1054. |
| 15 | 单鹂娜， 于晓洋， 于双， 等. 彩色梯度相移与格雷码相结合的三维测量方法［J］. 光学精密工程， 2010， 18（11）： 2497-2504. |
| SHAN L N， YU X Y， YU S， et al. Three dimensional measurement method combining color trapezoidal phase-shifting with color gray code［J］. Optics and Precision Engineering， 2010， 18（11）： 2497-2504 （in Chinese）. | |
| 16 | DAVID P， DEMENTHON D， DURAISWAMI R， et al. SoftPOSIT： Simultaneous pose and correspondence determination［J］.International Journal of Computer Vision， 2004， 59（3）： 259-284. |
| 17 | GOLD S， RANGARAJAN A. A graduated assignment algorithm for graph matching［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1996， 18（4）： 377-388. |
| 18 | DEMENTHON D F， DAVIS L S. Model-based object pose in 25 lines of code［J］. International Journal of Computer Vision， 1995， 15（1）： 123-141. |
| 19 | 张鑫， 张雅声， 程文华， 等. 基于SoftPOSIT算法的单目视觉非合作目标相对位姿估计［J］. 上海航天， 2016， 33（3）： 124-129. |
| ZHANG X， ZHANG Y S， CHENG W H， et al. Relative pose and attitude estimation for non-cooperative target by monocular camera based on SoftPOSIT algorithm［J］. Aerospace Shanghai， 2016， 33（3）： 124-129 （in Chinese）. | |
| 20 | 劳达宝， 张慧娟， 熊芝， 等. 基于单目视觉的姿态自动测量方法［J］. 光子学报， 2019， 48（3）： 165-171. |
| LAO D B， ZHANG H J， XIONG Z， et al. Automatic measurement method of attitude based on monocular vision［J］. Acta Photonica Sinica， 2019， 48（3）： 165-171 （in Chinese）. | |
| 21 | MORENO-NOGUER F， LEPETIT V， FUA P. Pose priors for simultaneously solving alignment and correspondence［M］∥Lecture Notes in Computer Science. Berlin， Heidelberg： Springer， 2008： 405-418. |
| 22 | BROWN M， WINDRIDGE D， GUILLEMAUT J Y. Globally optimal 2D-3D registration from points or lines without correspondences［C］∥2015 IEEE International Conference on Computer Vision. Piscataway： IEEE Press， 2015： 2111-2119. |
| 23 | BROWN M， WINDRIDGE D， GUILLEMAUT J Y. A family of globally optimal branch-and-bound algorithms for 2D-3D correspondence-free registration［J］. Pattern Recognition， 2019， 93： 36-54. |
| 24 | CAMPBELL D， PETERSSON L， KNEIP L， et al. Globally-optimal inlier set maximisation for camera pose and correspondence estimation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（2）： 328-342. |
| 25 | LIU Y L， CHEN G， KNOLL A. Globally optimal camera orientation estimation from line correspondences by BnB algorithm［J］. IEEE Robotics and Automation Letters， 2021， 6（1）： 215-222. |
| 26 | 李建微， 占家旺. 三维点云配准方法研究进展［J］. 中国图象图形学报， 2022， 27（2）： 349-367. |
| LI J W， ZHAN J W. Review on 3D point cloud registration method［J］. Journal of Image and Graphics， 2022， 27（2）： 349-367 （in Chinese）. | |
| 27 | HARTLEY R I， KAHL F. Global optimization through rotation space search［J］. International Journal of Computer Vision， 2009， 82（1）： 64-79. |
| 28 | ZHANG Z. A flexible new technique for camera calibration［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（11）： 1330-1334. |
/
| 〈 |
|
〉 |
CJA