自适应Levenberg-Marquardt优化的低重叠度多相机精确标定方法

doi:10.7527/S1000-6893.2024.30860

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 |

自适应Levenberg-Marquardt优化的低重叠度多相机精确标定方法

章涛, 高铂, 罗其俊()

中国民航大学天津市智能信号与图像处理重点实验室，天津 300300

收稿日期:2024-06-24 修回日期:2024-08-05 接受日期:2024-10-10 出版日期:2024-11-08 发布日期:2024-11-07
通讯作者: 罗其俊 E-mail:qjluo@cauc.edu.cn
基金资助:
国家重点研发计划(2022YFB3904303);中央高校基本科研业务费项目资助(3122018D002)

Adaptive Levenberg-Marquardt optimization for accurate calibration of multi-camera systems with low overlap fields of view

Tao ZHANG, Bo GAO, Qijun LUO()

Tianjin Key Laboratory for Advanced Signal Processing，Civil Aviation University of China，Tianjin 300300，China

Received:2024-06-24 Revised:2024-08-05 Accepted:2024-10-10 Online:2024-11-08 Published:2024-11-07
Contact: Qijun LUO E-mail:qjluo@cauc.edu.cn
Supported by:
National Key Research and Development Program of China(2022YFB3904303);the Fundamental Research Funds for the Central Universities(3122018D002)

摘要/Abstract

摘要：

机载视景智能辅助驾驶系统为了获取周边态势信息，需要进行大场景、低重叠、高精度的相机标定与危险目标位置测量。针对现有的低重叠度多目相机系统存在标定精度不足，且因畸变导致的视觉测量精度较低等问题，提出了一种自适应Levenberg-Marquardt优化的多相机精确标定方法。首先，建立了基于刚性组合标靶的双目相机标定模型，通过刚性固定的组合标靶和辅助相机，得到双目相机之间的转换关系。然后，提出自适应Levenberg-Marquardt优化算法，以标靶特征点的重投影误差为目标函数，采用自适应步长的迭代优化方法，对双目相机的转换矩阵进行优化，提高了标定精度。最后，完成多相机图像共圆心柱面投影，减少目标视差，提高拼接视景的测量精度。标定实验和测量实验结果表明，提出方法可解决低重叠度视场的相机精确标定与危险目标位置测量的问题，将重投影误差减小10%，测量误差减小13%。

关键词: 多相机系统, 相机标定, 自适应Levenberg-Marquardt优化算法, 全局校准, 柱面投影

Abstract:

To acquire situational awareness of the surroundings， pilot assistance systems require high-precision camera calibration and hazardous target position measurement in large-scale scenes with low overlap. To address the issues such as insufficient calibration accuracy in existing low-overlap multi-camera systems and reduced visual measurement accuracy due to distortion， this paper proposes a precise multi-camera calibration method based on adaptive Levenberg-Marquardt optimization. First， a binocular camera calibration model is established using a rigid composite target. By employing a rigidly fixed composite target and an auxiliary camera， the transformation relationship between the two cameras is derived. Then， an adaptive Levenberg-Marquardt optimization algorithm is introduced， which uses the reprojection error of the target’s feature points as the objective function. An iterative optimization method with adaptive step sizes is utilized to optimize the transformation matrix between the binocular cameras， thereby enhancing calibration accuracy. Finally， a co-centric cylindrical projection of multi-camera images is performed to reduce target parallax and improve the measurement accuracy of the stitched panoramic view. Calibration and measurement experiments demonstrate that the proposed method effectively addresses the challenges of precise camera calibration and hazardous target position measurement in low-overlapping fields of view， reducing the reprojection error by 10% and the measurement error by 13%.

Key words: multi-camera system, camera calibration, adaptive Levenberg-Marquardt optimization algorithm, global calibration, cylindrical projection

中图分类号:

V248

章涛, 高铂, 罗其俊. 自适应Levenberg-Marquardt优化的低重叠度多相机精确标定方法[J]. 航空学报, 2025, 46(4): 330860.

Tao ZHANG, Bo GAO, Qijun LUO. Adaptive Levenberg-Marquardt optimization for accurate calibration of multi-camera systems with low overlap fields of view[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(4): 330860.

图/表 15

图1

图2

图3

图4

图5

图6

图7

图8

表1

图9

图10

图11

图12

图13

图14

参考文献 25

1	Airbus tests new technologies to enhance pilot assistance［EB/OL］. （2023-1-12）［2024-10-14］. .
2	章涛，张雪瑞，陈勇，等. 面向民机可视导航的场面多尺度目标检测［J］. 上海交通大学学报， 2024，58（11）：1816-1825.
	ZHANG T， ZHANG R X， CHEN Y， et al. Airfield multi-scale object detection for visual navigation in civil aircraft［J］. Journal of Shanghai Jiaotong University， 2024，58（11）：1816-1825 （in Chinese）.
3	ZHANG Z. A flexible new technique for camera calibration［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（11）： 1330-1334.
4	OKADA K， INABA M， INOUE H. Integration of real-time binocular stereo vision and whole body information for dynamic walking navigation of humanoid robot［C］∥Proceedings of IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems. Piscataway： IEEE Press， 2003： 131-136.
5	JUAREZ-SALAZAR R， DIAZ-RAMIREZ V H. Flexible camera-projector calibration using superposed color checkerboards［J］. Optics and Lasers in Engineering， 2019， 120： 59-65.
6	BIRDAL T， BALA E， EREN T， et al. Online inspection of 3D parts via a locally overlapping camera network［C］∥2016 IEEE Winter Conference on Applications of Computer Vision （WACV）. Piscataway： IEEE Press， 2016： 1-10.
7	ESQUIVEL S， WOELK F， KOCH R. Calibration of a multi-camera rig from non-overlapping views［M］∥HAMPRECHT F A， SCHNÖRR C， JÄHNE B， eds. Lecture Notes in Computer Science. Berlin： Springer， 2007： 82-91.
8	张辉，张丽艳，陈江，等. 基于平面模板自由拍摄的双目立体测量系统的现场标定［J］. 航空学报， 2007， 28（3）： 695-701.
	ZHANG H， ZHANG L Y， CHEN J， et al. Field calibration of binocular stereo system based on planar template and free snapping［J］. Acta Aeronautica et Astronautica Sinica， 2007， 28（3）： 695-701 （in Chinese）.
9	杨霈，殷玉龙，卢荣胜，等. 基于方向性靶标和多约束优化的双目相机标定［J］.光学学报， 2022， 42（8）： 195-206.
	YANG P， YIN Y L， LU R S， et al. Binocular camera calibration based on directional target and multi-constraint optimization［J］. Acta Optica Sinica， 2022， 42（8）： 195-206 （in Chinese）.
10	倪章松，顾艺，柳庆林，等. 大视场双目立体视觉柔性标定［J］. 光学精密工程， 2017， 25（7）： 1882-1889.
	NI Z S， GU Y， LIU Q L， et al. Flexible calibration method for binocular stereo vision in large field of view［J］. Optics and Precision Engineering， 2017， 25（7）： 1882-1889 （in Chinese）.
11	ZHENG Z， FAN J F， SHAO L， et al. Affine constrained binocular camera calibration with planar target single-axis translating［J］. IEEE Transactions on Instrumentation and Measurement， 2024， 73： 5018313.
12	HAN J Z， ZHANG Z H， WANG Z B， et al. Extrinsic calibration of a binocular camera and LiDAR based on neural networks［J］. IEEE Sensors Journal， 2023， 23（23）： 29271-29282.
13	刘震，张广军，魏振忠. 基于双平面靶标的多视觉传感器现场全局校准［J］. 机械工程学报， 2009， 45（7）： 228-232.
	LIU Z， ZHANG G J， WEI Z Z. Global calibration of multi-sensor vision system based on two planar targets［J］. Journal of Mechanical Engineering， 2009， 45（7）： 228-232 （in Chinese）.
14	肖一帆，胡伟. 基于多相机系统的高精度标定［J］. 激光与光电子学进展， 2023， 60（20）： 134-140.
	XIAO Y F， HU W. High-precision calibration based on multi-camera system［J］. Laser & Optoelectronics Progress， 2023， 60（20）： 134-140 （in Chinese）.
15	HU H， WEI B， MEI S， et al. A two-step calibration method for vision measurement with large field of view［J］. IEEE Transactions on Instrumentation and Measurement， 2022， 71： 5006910.
16	HUO J， LI Y H， YANG M. Multi-camera calibration method based on minimizing the difference of reprojection error vectors［J］. Journal of Systems Engineering and Electronics， 2018， 29（4）： 844.
17	LIU Z， ZHANG G J， WEI Z Z， et al. A global calibration method for multiple vision sensors based on multiple targets［J］. Measurement Science and Technology， 2011， 22（12）： 125102.
18	马玛双，杨小冈，李传祥，等. 基于空间约束的非重叠视场相机精确标定方法［J］. 光学学报， 2019， 39（10）： 1015003.
	MA M S， YANG X G， LI C X， et al. Accurate calibration method for non-overlapping fields of cameras based on spatial constraints［J］. Acta Optica Sinica， 2019， 39（10）： 1015003 （in Chinese）.
19	陈刚，车仁生，叶东，等. 一种基于立体模板的双目视觉传感器现场标定方法［J］. 光学精密工程， 2004， 12（6）： 626-631.
	CHEN G， CHE R S， YE D， et al. Stereo vision sensor field calibration method based on volume template［J］. Optics and Precision Engineering， 2004， 12（6）： 626-631 （in Chinese）.
20	杨敏，王文强，马立武. 基于L-M算法的机械臂三维超声图像标定方法［J］. 软件导刊， 2019， 18（11）： 152-156.
	YANG M， WANG W Q， MA L W. 3D ultrasonic image calibration of mechanical arm based on L-M algorithm［J］. Software Guide， 2019， 18（11）： 152-156 （in Chinese）.
21	LEVENBERG K. A method for the solution of certain non-linear problems in least squares［J］. Quarterly of Applied Mathematics， 1944， 2（2）： 164-168.
22	MARQUARDT D W. An algorithm for least-squares estimation of nonlinear parameters［J］. Journal of the Society for Industrial and Applied Mathematics， 1963， 11（2）： 431-441.
23	CHEN X， ZHOU F Q， XUE T. Omnidirectional field of view structured light calibration method for catadioptric vision system［J］. Measurement， 2019， 148： 106914.
24	王冬，刘凤英，陈天恩，等. 一种相机标定参数的柱面全景影像拼接方法［J］. 测绘科学， 2016， 41（7）： 150-154， 143.
	WANG D， LIU F Y， CHEN T E， et al. The method of cylinder panoramic image mosaic based on camera calibration parameters［J］. Science of Surveying and Mapping， 2016， 41（7）： 150-154， 143 （in Chinese）.
25	陈朝勇，王凯，吴敏，等. 基于 CUDA 的场面全景图像柱面投影并行算法［J］. 控制工程， 2020， 27（9）： 1636-1641.
	CHEN C Y， WANG K， WU M， et al. Parallel implementation of airport panoramic image cylindrical projection based on CUDA［J］. Control Engineering of China， 2020， 27（9）： 1636-1641 （in Chinese）.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

算法	最大误差/mm	最小误差/mm	平均误差/mm
传统方法	（3.17，3.34）	（0.15，0.12）	（1.25，2.64）
LM算法	（1.32，2.01）	（0.09，0.11）	（0.62，0.88）
ALM算法	（0.49，0.65）	（0.14，0.28）	（0.51，0.66）

自适应Levenberg-Marquardt优化的低重叠度多相机精确标定方法

Adaptive Levenberg-Marquardt optimization for accurate calibration of multi-camera systems with low overlap fields of view

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 25

相关文章 1

编辑推荐

Metrics

本文评价